基于云计算技术的大数据管理平台PPT.pptx
《基于云计算技术的大数据管理平台PPT.pptx》由会员分享,可在线阅读,更多相关《基于云计算技术的大数据管理平台PPT.pptx(62页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、基于云计算技术的基于云计算技术的大大数据分析处理平台数据分析处理平台大数据分析处理概述基于云计算技术的大管理平台大数据分析处理概述电子商务生产制造形成商品上架的时机和策略分析以及个性化的用户推荐系统形成如市场走势、成本控制、供应链策略等分析报告形成商品排行榜、好评度,用户等级、积分等信息形成比如合格率、损耗、占有率、单位成本等生产经营指标信息按时间、地域、种类等维度对数据进行清理和存储数据清理、融合和存储大量的商品、用户以及在线消费行为数据生产全流程数据供应商相关数据客户、订单、市场数据大数据分析处理理念大数据分析处理理念智能决策企业经营活动以及消费者行为等产生的海量数据数据采集、清理并存储原
2、始数据集信息建模计算形成有价值的信息知识归纳总结形成知识资产数据采集传输存储数据加工深度分析大数据分析处理从数据到决策支撑大数据分析处理应用大数据分析处理应用大数据分析处理示例大数据分析处理示例患者记录的汇总挖掘和在线诊疗平台和社区。患者记录的汇总挖掘和在线诊疗平台和社区。研发资源的分布模型预测、研发资源的分布模型预测、临床实验设计以及个性化临床实验设计以及个性化药物设计;药物设计;比较效果研究比较效果研究(CER)(CER)、临床决策支持以及临床、临床决策支持以及临床数据的透明度控制;数据的透明度控制;支持欺诈检测的数据分析算法以及基于临床效果的药支持欺诈检测的数据分析算法以及基于临床效果的
3、药物定价体系;物定价体系;公共卫生监测和反馈系统;公共卫生监测和反馈系统;大数据分析处理示例大数据分析处理示例市场营销:交叉销售,基于地点的营销推广,店内行为分析,市场营销:交叉销售,基于地点的营销推广,店内行为分析,客户精分,情绪分析,多途径消费者体验提升;客户精分,情绪分析,多途径消费者体验提升;经营策略:分类优化,定价优化,位置和设计优化;经营策略:分类优化,定价优化,位置和设计优化;运营管理:经营状况分析,劳力投入优化;运营管理:经营状况分析,劳力投入优化;供应链管理:库存管理、采购与物流系统优化,供应商交涉;供应链管理:库存管理、采购与物流系统优化,供应商交涉;商务模式:价格比对服务
4、,线上线下业务同步。商务模式:价格比对服务,线上线下业务同步。沿供应链构建一致的、可互操作的、跨功能的研发和产品设计数据库沿供应链构建一致的、可互操作的、跨功能的研发和产品设计数据库,支持并行工程设计、支持并行工程设计、快速模拟仿真以及共同创建等的实现;快速模拟仿真以及共同创建等的实现;整合并开放用户数据,用以改善服务水平和获取上下游销售机会;实现面向价值的产品设整合并开放用户数据,用以改善服务水平和获取上下游销售机会;实现面向价值的产品设计;计;实现需求预测分析以及随需应变的采购计划制定;实现需求预测分析以及随需应变的采购计划制定;实现数字化可视化的精益生产和模型设计,达到过程透明、生产可控
5、和风险可视的目的;实现数字化可视化的精益生产和模型设计,达到过程透明、生产可控和风险可视的目的;通过数据驱动的逻辑运算分析方法来提升生产能力和实现大范围的用户定制化;通过数据驱动的逻辑运算分析方法来提升生产能力和实现大范围的用户定制化;采集售后数据和用户反馈信息,用以制定售后服务策略以及发现设计和生产上的缺陷。采集售后数据和用户反馈信息,用以制定售后服务策略以及发现设计和生产上的缺陷。大数据分析处理示例大数据分析处理示例实现公开与透明;实现公开与透明;实现需求发掘、可变性控制以实现需求发掘、可变性控制以及功能提升的循环验证机制;及功能提升的循环验证机制;群体细分及人物画像;群体细分及人物画像;
6、决策支撑体系决策支撑体系商务模式、产品和服务的创新商务模式、产品和服务的创新支持;支持;个性化的个性化的LBSLBS应用和服务,比如应用和服务,比如最优路径、汽车远程信息处理、最优路径、汽车远程信息处理、手机定位等服务;手机定位等服务;对个人位置信息的使用,比如广对个人位置信息的使用,比如广告推送、电子收费站、保险定价告推送、电子收费站、保险定价和应急响应等;和应急响应等;对群体位置信息的使用,比如城对群体位置信息的使用,比如城市规划、商业智能以及一些新商市规划、商业智能以及一些新商业模式的产生。业模式的产生。未来十年全球大数据的产业规模将会至少以万亿美元来进行衡量!未来十年中国大数据的产业规
7、模将超过千亿美元!未来十年中国能源行业相关的大数据分析处理将带来400亿人民币的收入!大数据分析处理前景大数据分析处理前景数据来源:麦肯锡全球研究所大数据分析处理技术思路IT系统的数据类型及特性11数据鲜活性:毫秒数据鲜活性:毫秒 秒分钟秒分钟 小时天小时天访问吞吐量:几万访问吞吐量:几万IOPS IOPS 几百万几百万IOPS IOPS 几百几百IOPSIOPS存储总容量:存储总容量:GBGBTB TB TBTBPB PB PB-EBPB-EB交易型数据流式业务和用户数据归档型数据指数级变化大数据分析处理的核心挑战数据库云化交易数据归档数据流式数据大数据压力下的关系型数据库:大数据压力下的关
8、系型数据库:性能瓶颈性能瓶颈延展难度大延展难度大访问模型单一访问模型单一单点失效单点失效全集中架构全集中架构关系型数据库集群分布式文件对象存储分布式数据库数据库云化的实现活跃数据活跃数据活跃数据活跃数据流式数据交易数据归档数据归档数据归档数据归档数据归档数据交易数据交易数据大数据分析处理技术分类大数据分析处理技术分类数据采集数据存储整合/聚集/表达分析/建模结果展示规模性实时性异构性共享协同安全隐私对多种类、多来源的全业务流程数据进行多样化的采集获取,并进行层级化的抽取、清洗、过滤等数据预处理通过恰当的存储技术,在满足一致性要求的基础上,安全、可靠、快速、有效地对多类型、多格式、多特性的数据进
9、行存储大数据分析处理技术流程对海量数据分析、探索和挖掘,探寻数据的模式及特征,寻找数据背后的信息变化和价值通过数据切片、ETL、数据分类聚合、数据索引标记等技术对数据进行处理,并提供统一高效的查询访问服务通过对分析结果概念化、系统化,将数据和信息转化成知识,并多维度多样化立体地向不同受众进行展现。采集存储分析展现跨域、异构、可信、独立的数据采集高性能、高可靠、多模式、海量弹性的数据存储大数据分析处理技术关键从局部到全景、从建模计算到决策支撑的层级化数据分析多维度、立体、动态的结果展现支持数据采集点的地理分布和网络跨域;支持不同业务系统不同数据类型的采集;近实时的数据抓取;能够检测到数据的前后状
10、态变化;无需对原业务系统进行更改;不影响业务系统的正常运行。Raw DataIndex&ParameterDecision-Making传统的IT架构在数据容量处理性能成本投入持续发展等方面无法满足企业信息化的需要云计算给出了一种新的问题解决思路和实现机制。大用户大数据大系统增长爆发性使用突发性需求易变性关联网络效应Volume::数据量Variety:数据多样性Velocity:数据吞吐量Value:数据内容系统高可用性管理压力与维护成本性能线性延展应用与需求多样性云计算技术帮助解决三大问题大数据管理平台架构 大数据管理平台架构:一个核心系统一个核心系统:多模式多格式大数据统一存储统一数据访
11、问数据分析平台数据共享服务物理分布逻辑集中大数据管理平台架构:两种管理机制两种管理机制:分布式数据总线:数据流管理,协同分布式工作流引擎:控制流管理,调度大数据管理平台架构:三类支撑框架三类支撑框架:系统运维监控框架数据采集融合框架服务管理交付框架 大数据分析处理平台的关键子系统概述大数据分析处理平台的关键子系统概述高容错、高性能的数据传输、交换以及应用协作平台,在大规模分布式应用系统各组成部分之间进行通信和协作,同时可以降低分布式应用系统开发的难度。对遍布全国的采集点的数据进行高效可信独立的采集,同时通过指定的配置和策略对各类数据进行预处理。分布式数据总线通过集群化的关系型数据库,实现海量强
12、关系型结构化数据(业务数据尤其是交易型数据)的存储和快速访问,并对数据分析系统进行很好的支撑。数据采集系统用于对数量特别巨大且关联性不强的结构化和半结构化数据进行实时高效的存储和访问,同时支撑这类数据的实时和离线的分布式计算分析。关系型数据库集群用于总数量和总容量都很大的各类图片、视频等多媒体文件以及其他非结构化数据的实时高效存储和访问。分布式数据库从存放在数据库和其他信息源中的大量的销售数据和用户行为数据中获取有效的、有使用价值的、最终可决策和执行的信息。通常,数据分析由以下三个阶段组成:(1)数据准备;2)数据挖掘;(3)结果表达和展现。分布式对象/文件存储系统通过对业务系统中的数据层,服
13、务层实现功能抽象,采用面向服务体系架构(SOA)将系统应用的不同功能单元通过服务之间定义良好的接口和契约联系起来,消除不同应用之间以及数据提供者之间的技术差异,让不同的应用服务器协调运作,实现了不同服务之间的通信与整合,为数据,应用和服务的使用者提供统一透明的访问接口。综合数据分析系统实现针对大规模系统的基于分布式工作流技术和策略引擎的复杂任务的定义,调度,协作和执行,主要用于支撑大规模系统的实现。数据服务系统用于基础设施管理平台的快速构建,并通过自动化方式进行大规模应用部署、资源和应用的监控报警等。同时还能实现全系统资源的动态调配,分布式工作流引擎自动化运维管理系统大数据分析处理平台关键流程
14、大数据分析处理平台关键流程数据采集数据采集大数据分析处理平台关键流程大数据分析处理平台关键流程数据存储数据存储大数据分析处理平台关键流程大数据分析处理平台关键流程数据数据融合融合/访问访问大数据分析处理平台关键流程大数据分析处理平台关键流程数据分析数据分析/查询查询大数据分析处理案例分析某中央部委全国业务信息统一数据管理及访问系统某重要的政府管理部门计划构建一个综合性的全国信息管理系统,以记录,融合及管理全国范围内的所有业务信息。该系统的核心数据平台必须满足:在不修改或影响原有业务系统运行的条件下,统一采集,存储并管理分布在全国几百的地市内的异构业务系统中生成的业务数据。初期汇聚的关系型结构化
15、业务数据总量超过3PB,系统架构实现弹性动态扩展,支持未来数据容量的不断增长。在保证数据可靠性的前提下,同时支持数据的鲜活性和主权管理,明确划分数据拥有者和数据使用者的权限支持高效的数据共享查询访问及大规模分析能力,为中央的专项政策制定提供有力数据支撑实践:跨域异构海量关系型数据的融合及访问用户需求实践:跨域异构海量关系型数据的融合及访问总体架构实践:跨域异构海量关系型数据的融合及访问跨域异构海量关系型数据的融合及访问数据采集数据采集业务系统无需更改,完全不影响生产系统的正常运行;支持异构数据库的数据同步复制;支持多源及多目标数据库之间的数据同步复制;通过高效的群组通讯机制,保证在多节点情况下
16、的准实时同步速度。实践:跨域异构海量关系型数据的融合及访问跨域异构海量关系型数据的融合及访问数据容灾数据容灾多活体备份,通过冗余机制消除各个主要环节单点失效的风险;活体流动性,在数据和服务两个层面保证系统的动态迁移;系统可靠性级别和策略可根据需求进行灵活调整调度;活体休眠和唤醒机制保证资源和能耗的优化配置。实践实践:跨域异构海量关系型数据的融合及访问跨域异构海量关系型数据的融合及访问数据管理数据管理某运营商为了开拓云计算服务市场,实现快速部署云计算,推出云服务。最先考虑实现面向公众的云存储来提供云计算服务类型。面向其4亿多的有线和移动用户急速增长的在线存储需求,针对个人和商业用户提供文档、图片
17、等信息的存储,同步,备份和共享服务。在保证数据高可靠的前提下,提供可线性延展的通用非结构化数据存储能力。满足海量用户对数据存储,同步,备份,共享的需求。提供方便可靠的用户认证和数据隔离,符合公有云存储服务对数据安全和审计规范。面向遍布全国的有线和移动用户,提供地理分布的多数据中心部署,存储缓存和负载均衡能力,确保用户在各种使用场景下一致的用户体验。实现在符合SLA前提下合理的硬件和运营成本。系统设计能力支持PB级存储容量,数十亿存储对象数量,数亿活跃用户。某运营商公有云存储服务平台实践:构建运营商公有云存储服务用户需求实践:构建运营商公有云存储服务系统架构实践:构建运营商公有云存储服务应用示例
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 计算 技术 数据管理 平台 PPT
限制150内