数字化某大数据整体解决方案.pptx
《数字化某大数据整体解决方案.pptx》由会员分享,可在线阅读,更多相关《数字化某大数据整体解决方案.pptx(44页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、大数据整体解决方案大数据整体解决方案目录n 大数据大数据综综述述n 荣之荣之联联企企业业大数据平台方案大数据平台方案n 大数据平台建大数据平台建设设方法方法n 汽汽车车制造制造业应业应用大数据用大数据畅畅想想n 案例案例频(医疗影像、地理信息、监控录像等)视和提普网络移动带、端导器D阅RF器大数据时代到来移动网络和各种智能终端统计、分析、预测、实时处理IDC预测全球的数据使用量到2020年会增长44倍,达到35.2ZB (1ZB =10亿TB)传、I读、及航宽 终感速等非传统IT设备社交网络(Facebook,Twitter,微博等)数据处理思维转变数据关系力求明确清晰探求难以捉摸的因果关系少
2、量的样本数据要求数据精确无误乐于接受数据的纷繁复杂转而关注事物的关联关系全量数据数据的精确不是那么重要了数据处理思维转变传统数据分析思维大数据分析思维案例一 谷歌翻译系统为了训练其系统,收集其能找到的所有翻译;谷歌收集了上万亿页的语料库,包括质量参差不齐的文档;上万亿的语料库,相当于950亿句英语;相对而言,谷歌的翻译质量还是最好的;谷歌翻译之所以更好,不是因为它拥有一个更好的算法机制,而是增加了各种各样的数据,包括有错误的数据;在谷歌的翻译团队中,大多数工程师并不懂其翻译出来的语言;案例二 聘请了20多名书评家和编辑组成的团队,在网页上创立“亚马逊的声音”向客户推荐新书,写书评;通过客户的购
3、买历史,寻找客户的相似性,对客户分群进行产品推荐,推荐的总是与以往购买的相似或略有区别;通过大量的数据分析,找出书籍之间的关联关系,即“item-to-item”,时亚马逊发生了天翻地覆的变化。AMAZON销售额的三分之一来自于“item-to-item”的推荐系统。AMAZON最终放弃了在线书评,书评团队被解散。数据处理思维转变数据处理思维转变 关联关系,预测的关键。很多时候,知道“是什么”就够了,没必要知道“为什么”。一旦我们完成了“关联关系”分析,我们就可以继续向更深层次研究因果关系,找出背后的“为什么”沃尔玛:请把蛋挞和飓风用品摆在一起,请把啤酒和尿片摆在一起;某信用评分公司,利用Fa
4、cebook的社交圈来预测个人偿还债务的可能性;对冲基金通过分析Twitter微博的数据文本,作为股市投资的信号;某信用评分公司,利用Facebook的社交圈来预测个人偿还债务的可能性;对冲基金通过分析Twitter微博的数据文本,作为股市投资的信号;其它案例大数据与BI融合*大数据的商业价值大数据主要厂商大型企业和机构在寻求解决棘手的大数据问题时,往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop提供解决方案。Hadoop的发行版除了社区的Apachehadoop外,cloudera,IBM,ORAC
5、LE等都提供了自己的商业版本。商业版主要是提供Hadoop专业的技术支持,这对一些大型企业尤其重要。ClouderaEMCl。IBMOracle大数据生态Big Data ApplicationsSQL资料汇入非结构化资料汇入类SQL资料库系统(非即时性)分散式档案系统分散式资料库(即时性)并行计算框架资料处理语言数据挖掘程序库目录n 大数据大数据综综述述n 荣之荣之联联企企业业大数据平台方案大数据平台方案n 大数据平台建大数据平台建设设方法方法n 汽汽车车制造制造业应业应用大数据用大数据畅畅想想n 案例案例企业大数据平台架构原则*技术-按需频度的数据获取批量和实时数据采用不同的技术手段和工具
6、,遵循统一的文件接口标准 技术-多样化数据共存跨同构/异构数据库(物理系统),基于文本、数据库的数据抽取和加载 数据-数据即服务业务人员通过逻辑数据对象组件访问数据,而不用关心数据的物理存储方式。通过数据组织与前端应用功能,使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制,主要体现在数据正确性(技术)、完整性、一致性(业务)、有效性。大数据平台整体架构大数据处理流程主分类关键词标签地名人名全国统一分类分词,倒排搜索共性、个性文本识别处理功能模块反向搜索关键词分析索引建立网页分类索引分析内容分词日志合并日志关联用户标签类别
7、摘要结构化元信息网页信息分类数据获取语义分析数据解析结构化数据非结构化数据a.建立对非结构化数据进行SQL语法查询的支持,实现与结构化数据的集成关联(key)结构化元数据Hadoopa.建立非结构化信息的标签、摘要、索引、日志、内容等a.提取结构化的元数据信息,如类别、标引、摘要等;实现与结构化数据的整合ODS数据集市数据集市EDWSQL声誉度分析品牌分析服务质量分析竞争产品分析产品评价市场动态跟踪ETL数据获取网络爬虫大数据关键技术大数据关键技术-HadoopHadoop系统工作原理大数据关键技术-网络数据获取分布式存储横向扩容(Scale-out)架构分布式文件系统分布式软件架构并行计算框
8、架分布式网络爬虫大数据关键技术-两种平台相互集成大数据关键技术-数据应用功能数据查询数据分析语义分析数据统计信息检索数据挖掘经营管理市场口碑决策支持市场活动分销管理用户服务大数据关键技术-数据管控目录n 大数据大数据综综述述n 荣之荣之联联企企业业大数据平台方案大数据平台方案n 大数据平台建大数据平台建设设方法方法n 汽汽车车制造制造业应业应用大数据用大数据畅畅想想n 案例案例传统数据平台与大数据分布式平台特性差异大数据分析与传统BI分析差异 结构化数据 数据规模一般为TB规模 集中式,为了分析进行大量数据移动,数据向计算靠近 批处理为主 结构化/非结构化混合分析的能力 数据规模从数十TB到P
9、B级别 分布式,计算向数据靠近 支持流式分析事务关系型数据库批处理数据仓库分析集群化非结构化流式多种数据源分析(MapReduce)组织传统BI分析大数据分析大数据处理和管理体系-多结构化第一阶段:应用场景驱动的大数据开发第二阶段:各业务系统、各渠道系统等配合大数据改造优化下的大数据平台建设大数据实施建议Think big,start small.大处着眼,小处着手。第四阶段(目标):以大数据驱动的,实时的、整体联动的IT解决方案第三阶段:管理信息体系大数据实施方法论大数据业务战略企业战略目标业务目标业务模式大数据建设目标大数据治理目标应用场景服务模式服务对象大数据架构设计大数据服务定义大数据
10、信息模型大数据管理定义技术选择大数据实施容量规划安装,配置验收测试系统上线服务性能管理大数据运维大数据服务管理系统监控资源调度生命周期管理验证测试大数据持续改进业务调整服务改进技术升级架构优化大数据的角色和技能目录n 大数据大数据综综述述n 荣之荣之联联企企业业大数据平台方案大数据平台方案n 大数据平台建大数据平台建设设方法方法n 汽汽车车制造制造业应业应用大数据用大数据畅畅想想n 案例案例汽车企业IT的过去汽车企业IT的将来业务挑战l 产品研发周期响应长l 市场扩张不够且竞争激烈l 客户忠诚度不高l 成本增长且利润率低业务趋势l 提升客户服务,增加用户粘度l 提高生产率l 扩大市场份额l 加
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数字化 数据 整体 解决方案
限制150内