大数据时代系统工程面临的机遇与挑战ppt.ppt

,谭 跃 进教 授国防科技大学信息系统与管理学院yjtannudt.edu.cn,大数据时代系统工程面临的机遇与挑战,移动大数据在海地大地震应急救援管理决策中的应用；基于大数据的航天装备的健康管理与寿命预测研究；湖南永州市公安局利用监控和移动通信数据进行破案；TCL公司研究院利用电视终端设备收集用户使用信息，进行新产品开发；美国棱镜计划对国家安全与反恐维稳情报体系建设的启示；网络舆情分析和实时情景态势感知的突发事件应急管理与决策；2015年国家自然科学基金委管理学部的重点项目投票,大数据时代系统工程面临的机遇与挑战,主要内容,一、大数据时代系统工程面临的机遇二、大数据时代系统工程面临的挑战,大数据指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策有更积极目的的资讯。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值密度低）。大数据已成为互联网信息技术行业的流行词汇，已成为未来“十三五”和2030年前我国重点发展的十大科技领域之一。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有价值的数据进行专业化处理，通过“加工处理”实现数据“增值”。,关于大数据 (big data),一、大数据时代系统工程面临的机遇,大数据可分为大数据技术、大数据工程、大数据科学和大数据应用等领域。大数据的来源包括网络日志、RFID、传感器网络、社会网络、手机呼叫详细记录、社会数据、互联网文本和文件、互联网搜索索引、天文学、大气科学、基因组学、生物和其他复杂的、跨学科的科研、军事侦察、能源、交通、医疗记录、教育、社会管理、企业组织内部数据、摄影档案馆视频档案、大规模的电子商务等。大数据从”结构化”数据发展变化到图片、视频、互动、三维等大量形态各异的”非结构化”数据，与事件、社会情绪等诸多不可预测的因素有关，如同控制我们情绪的右脑。,关于大数据 (big data),一、大数据时代系统工程面临的机遇,“The use of big data in the development world is in its early days but it signals a new era in which technology could transform the way international public sector organisations approach their work.”Financial Times, Nov 14, 2013,大数据的应用在现代社会中还处于起步阶段，但他寓示了一个新时代的到来：即大数据技术将彻底改变公共部门的管理和运作方式。金融时报，2013年11月14日,一、大数据时代系统工程面临的机遇,值得注意的是，中国现代化建设中的很多复杂问题（或系统），如能源、交通、医疗卫生、科技教育、社会保障、环境保护、城市建设、企业管理、信息网络管理、社会管理、国防与军队建设管理等问题，用传统方法很难以解决或成本太高，而基于大数据（证据）的分析和决策有可能是解决此类问题的选择。这些问题正是现代化带来的复杂系统问题，也是系统工程要努力解决的问题。因此，我们进入“互联网-大数据时代”的同时，我们也迎来了系统工程时代！,一、大数据时代系统工程面临的机遇,案例一：移动大数据在应急管理中的应用,一、大数据时代系统工程面临的机遇,全球每年约有2.58亿人受到如台风、地震、洪水、干旱等自然灾害的影响，大部分自然灾害最直接的后果是导致人口移动和迁徙，社会管理系统趋于瘫痪，大量救援物资无法及时、准确分发给灾民。,地海大地震,MOU & NDA with Digicel Haiti（地海）约 10亿条通话记录!数据库文件 250GB 单个文本文件25GB,手机数据辅助定位灾民移动和分布,Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A Post-Earthquake Geospatial Study in Haiti. PLoS Medicine, 2011; 8 (8): e1001083 DOI: 10.1371/journal.pmed.1001083,震后灾民流动情况分析：人群行为动力学分析,Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A Post-Earthquake Geospatial Study in Haiti. PLoS Medicine, 2011; 8 (8): e1001083 DOI: 10.1371/journal.pmed.1001083,移动轨迹预测方法,Improved Response to Disasters and Outbreaks by Tracking Population Movements with Mobile Phone Network Data: A Post-Earthquake Geospatial Study in Haiti. PLoS Medicine, 2011; 8 (8): e1001083 DOI: 10.1371/journal.pmed.1001083,霍乱感染地区人口流动及风险评估,基于移动数据的传染病预防与管控,FLOWMINDER.ORG,数据分析报告提交联合国救援组织,Copyright © 2013 Flowminder.org. For internal use only.,国际媒体关注,Copyright © 2013 Flowminder.org. For internal use only.,天宫一号目标飞行器的控制力矩陀螺（CMG）性能（退化）数据趋势分析数据的关联性分析（飞行器姿态数据、空间位置数据、周边局部温度数据等）基于数据的故障预测基于数据的寿命预测基于数据的故障处理决策支持利用数据验证拓展人工管理经验。,案例二：基于大数据的载人航天系统评价与决策分析,一、大数据时代系统工程面临的机遇,案例二：基于大数据的载人航天系统评价与决策分析,一、大数据时代系统工程面临的机遇,提出了基于数据趋势变化的故障预测方法和性能退化的寿命预测方法。,这些案例告诉我们，基于大数据我们能够迅速、直观、理性地对复杂系统或问题进行分析、预测、评估、决策和实施管理，即“基于数据（或证据）的决策”而不是靠似是而非的“理论”、基于过多假设的“模型”的决策或“事后诸葛亮”。美国前白宫经济委员会主任、哈佛大学教授Lawrence Summers所认为的，“我们正处在历史的转折点，200年后的人书写我们这段历史时，他们会发现我们所处的时代人类思考方式发生了重大的变化，那就是我们比以往任何时代在更多事情上变得更加理性，我们更多以数据为依据分析思考问题。”,一、大数据时代系统工程面临的机遇,(1)社会调查与统计分析方法（含实证分析方法）；(2)系统分析方法；(3)预测分析方法；(4)系统评价方法；(5)运筹学(最优化)方法（含智能优化）；(6)仿真建模分析方法；(7)网络建模分析方法（含社会网络计算）；(8)大数据建模分析方法（含数据挖掘、证析）。,从方法看挑战：系统工程方法可大致分为,一、大数据时代系统工程面临的挑战,从解析建模、仿真建模、大数据建模的发展中，后者都需要前者。如仿真建模中需要局部的解析建模，仿真结果分析需要统计分析和系统评价；大数据建模中需要解析建模，也需要仿真建模，而且是其中的重要组成部分。因此，如果我们结合中国的管理现实需要和热点问题，把传统的方法与大数据、云计算、物联网、网络科学、社会网络、数据挖掘、证析、仿真、社会计算等有机结合起来，可以得到很多有用的新方法。如大数据、社会网络的统计分析与预测；物联网环境下数据驱动的在线优化与动态决策等。,一、大数据时代系统工程面临的挑战,(1)社会调查与统计分析方法(2)系统分析方法(3)预测分析方法(4)系统评价方法(5)运筹学方法(6)仿真建模分析方法(7)网络建模分析方法(8)大数据建模分析方法,传统方法,新的方法,结合、创新,一、大数据时代系统工程面临的机遇,研究内容：测量网络数据、发现网络性质、建立网络模型、分析网络行为、设计与控制网络性能。发展应用：社会网络与大数据分析相结合，为分析复杂的社会系统提供了有力的工具，在社会学、管理学、经济、国家安全等领域将得到广泛应用。,网络科学（ network science）,测量网络数据,发现网络数据,建立网络模型,控制网络功能,分析网络行为,一、大数据时代系统工程面临的挑战,网络建模分析方法,定义：是用数学、运筹学、统计学影响商业决策的一种方法。“证”是证据的证，这个证据更多强调的是定量的证据，也就是数据；“析”仍然是分析的析，分析数据以产生新的影响决策的证据。因此，证析就是指对量化证据进行分析以影响决策的实践。背景：证析是学科和时代发展到现阶段的新产物，驱动力来自业界通过收集和分析数据以从中获得最大化的价值的努力，业界利用数据指导从产品设计、物流规划到推广营销的一系列决策。大数据为analytics 提供了技术基础，数学、运筹学、统计学和计算机科学的发展为analytics 提供了分析数据的手段。以Analytics为名的杂志也于2008年正式发行。,证析：基于证据的决策(analytics，不同于analysis ),一、大数据时代系统工程面临的挑战,、需求分析：证析是为解决业务问题、提升业务决策服务的，所以要分析客户的问题和需求是什么。、决策流程分析：企业通过其价值链实现客户价值，企业为实现价值、获取利润需优化价值链中各个环节的决策，因此，企业业务流程中的决策流程的决策效果是证析项目的主要目标。、数据管理：从各个来源抽取与搜集数据、建立数据仓库、管理数据是证析项目的基础和重要组成部分。、度量：度量指标决定了证析项目所需要优化的决策目标。、探索性数据分析与数据可视化。、提出假设，发现模型、关联与模式。,证析的研究内容和步骤：,一、大数据时代系统工程面临的挑战,、检验与评价：假设成立与否需要使用数据并利用统计方法进行检验。、形成理论与洞察：利用人的归纳和推理能力，对数据的产生机理做出猜测，从而形成理论。、推理与优化：利用专家系统中的自动推理规则和搜索优化算法。0、干预与解决方案设计：包括产生创意、细化创意、选择方案等。1、仿真与实验：相关性并不等同于因果性。2、应用与推广（实施决策）。3、监控与持续的改进。,证析的研究内容和步骤：,一、大数据时代系统工程面临的挑战,实际上，大数据、物联网、云计算、网络科学、社会网络、数据挖掘、证析、仿真、计算实验等都有很密切的关系：1、大数据挖掘、开源情报分析2、大数据与证析（基于证据的决策）3、大数据分析与仿真验证4、大数据分析与云计算5、大数据与网络科学研究6、大数据与社会网络分析 7、大数据与计算实验结论：研究方法的选取大多与研究对象的结构化、关联性和数据多少有关。总的发展趋势是数据越来越多，问题越来越非结构化，关系越来越复杂和网络化。,一、大数据时代系统工程面临的挑战,一、大数据时代系统工程面临的挑战,从复杂系统研究看挑战：,关于复杂系统的特性，主要表现为：以非线性为核心，由此推演出复杂系统的整体性、自主性、关联性、涌现性和多样性等特性。大数据时代追求的“不是随机样本，而是全体数据”。全体数据正好刻画了复杂系统的整体。小数据时代，万事都要追问个“为什么”，总想弄清事物之间的微观因果关系。大数据时代，只要存在的就是合理的，只问“是什么”，不问“为什么”，对事物之间的关系不一定要求弄清因果细节，但要求弄清那些宏观上会引起变化的数据之间的关联关系。因此，在大数据时代，我们追求的“不是因果关系，而是相关关系”。这里的相关关系正好反映了复杂性科学中的关联性和非线性特征。,基于多Agent的智能交通系统,人工系统,实际系统,一、大数据时代系统工程面临的挑战,交互,最新应用：手机数据+卫星地图,大数据是最接近映射真实世界的手段,数据类型十：人力资源数据，管理：人力资源结构、更替规律分析,数据类型九：组织结构、经济发展数据，管理：组织演化规律研究,数据类型八：物联网数据，管理：信号监测与食品安全管理等,数据类型七：犯罪数据、警局报告数据，管理：团伙犯罪网络分析,数据类型六：教育、市场与医疗数据，管理：医疗、教育管理等,数据类型五：在线社会网络数据，管理：舆情、开源情报分析等,数据类型三：卫星图像数据，管理：侦察、态势分析、大气科学等,数据类型四：人口数据，管理：人口管理、城镇化建设管理等,数据类型一：社会网络抽样数据，管理：网络大数据与社会管理,数据类型二：手机定位与移动通话数据，管理：交通、救援、公安,各种大数据背后的复杂系统管理,一、大数据时代系统工程面临的挑战,从复杂系统研究看挑战：,因此，大数据技术是复杂性科学的技术实现，大数据分析方法是复杂系统规律挖掘与行为预测的有效方法，数据驱动的复杂系统研究前途广阔。,大数据环境下的社会管理与计算实验论坛,敬请批评指正！,