Oracle数据仓库设计与使用说明8397.pptx

l Oracle数据仓库解决方案l OracleETL方案l Oracle存储和分析方案l Oracle前端展示方案Oracle数据仓库设计与使用Oracle数据仓库解决方案数据 数据数据仓库：对来自不同的数据源的大量杂乱的信息进行统一处理及管理，通过灵活的展现方法从中提炼出有规律的、可重复使用的知识来帮助决策支持，并将可以重复使用的知识转化为企业的核心竞争力。数据数据信息信息知识知识决策决策管理获取使用Oracle对数据仓库的理解:数据仓库是一个过程，而不是一个产品。传统的数据仓库解决方案OLAPDataMiningRDBMSWebSiteLegacyERPReportingAd-HocQueryAnalysisPortalBrand A Brand B Brand DBrand CBrand E Brand F传统的数据仓库解决方案OLAPDataMiningRDBMSWebSiteLegacyERPReportingAd-HocQueryAnalysisPortal多种软件组成非集成的方案凌乱的平台技术、接口复杂实施时间长Oracle数据仓库总体解决方案框架数据转换 中央数据仓库信息展现 业务用户源数据数据获取 数据管理数据使用联机批处理联机单笔外部信息统计分析抽取转化过滤加载随即查询报表多维分析数据挖掘Portal集成直接用户(客户端)OLAP用户Web用户应用服务器RelationalTransformationOLAPDataMiningOracle9i/10g数据监督控制OWBReportDiscovererDataMinerBIBeanPortal9i/10gASOEMOracleDeveloperSuiteOracleDatabaseOracleApplicationServerOracle数据仓库解决方案Oracle的数据仓库系统的逻辑体系架构是由三层组成：数据获取层：实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。数据管理层：把数据存储到企业级数据仓库系统中进行集中管理；数据使用层：实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求，使用报表、随即查询、多维分析和数据挖掘进行数据展现。Oracle数据仓库解决方案数据获取层 数据仓库系统需要从多个源数据系统中抽取和汇总各种业务数据，这些数据源系统是数据仓库系统的数据来源。系统按照满足分析需求的原则，把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。从上述这些系统中获取数据需要三个过程(ETL)：抽取数据、数据转换和数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。这三个过程主要完成确定从哪个系统中抽取什么样的数据，如何保证来自不同源数据系统的同类数据的一致性和完整性，如何把转换完成的数据装载到数据仓库系统中，以及如何处理在转换和装载过程中出现的错误。Oracle数据仓库解决方案数据管理层在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。Oracle数据仓库解决方案数据使用层 数据输出层的功能是使最终用户通过报表、图形和其它分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。Oracle提供多种数据分析方法，包括标准报表、即席查询报表和动态分析报表，预测，假设分析和数据挖掘等。标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出，标准报表是一种格式固定，是在系统开发时根据用户需求定制的，最终用户无法自己修改。即席(随即)查询报表的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控制数据的访问方法，定义报表格式和报表中的数据内容。动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。数据挖掘是利用多种数学的分析方法建立模型，找出隐含的业务规律。Oracle数据仓库系统工具平台数据仓库是一个建设过程，Oracle公司在数据仓库建设的每一个环节上都提供了相应的技术手段及工具来保障数据仓库的顺利实现。Oracle公司在多年数据仓库开发过程中已开发出符合数据仓库建设每一阶段所需要的开发工具，这对保证数据仓库建设的顺利完成提供了保障。以下为Oracle公司为数据仓库系统技术平台的配置内容：Oracle数据仓库系统工具平台数据获取层配置：lOracleWarehouseBuilder(OWB)实现数据仓库的设计、部署和管理，包括数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等。Oracle数据仓库系统工具平台数据管理层配置：lOracle10g/9iRDBMS进行数据存储及管理功能。lOracleOLAP多维分析服务器 lOracleDataMining数据挖掘引擎 lOracleEnterpriseManager数据仓库图形化管理工具Oracle数据仓库系统工具平台 数据展现层配置：lOracleReports数据仓库前端应用报表开发工具 lOracleDiscoverer数据仓库随即查询、报表工具 lOracleInternetApplicationServer应用服务器 lOracleBIBeans由OracleJavaOLAPAPI 构造的商业智能套件 lOraclePortal企业门户信息开发工具 lOracleFinancialAnalyzer财务分析应用 lOracleSalesAnalyzer销售分析应用 Oracle数据仓库系统工具平台lOracleWarehouseBuilder（OWB）可以为数据仓库解决方案提供完整、集成的实施框架，以前只能由单独工具完成的功能现在能够在同一环境中实现，这些功能包括：数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等。OWB还实现了数据仓库不同部件如关系数据库、多维数据库以及前端分析工具的集成，为用户提供完整的数据仓库和商业智能系统。Oracle数据仓库系统工具平OWB具有如下特点：l全面的数据仓库设计、部署和管理功能 l利用数据库服务器提高性能 l 与前端分析工具紧密集成 l 开放、可延伸的框架 l 支持复杂的提取、转换和传输(ETT)过程 l 集成元数据管理Oracle数据仓库系统工具平台lOracle9i/10g数据仓库核心引擎，其中Oracle9i/10g为最新版本的数据库产品，专门针对数据仓库进行了很多的改进，包括对更大数据量的支持(PB级)，对更多用户数的支持(10000+)，更多数据仓库专用函数的支持等。集成了ETL、OLAP、DataMining功能Oracle数据仓库系统工具平台Oracle9i数据仓库核心引擎具有以下特点：l高可靠性、高可用性 l强大的伸缩性和性能，强大的并行处理能力，支持复杂的，大数据量的、突发查询的能力 l快速响应时间，高性能 l强大的复杂查询技术 l高可扩展能力 l支持大容量，TB级的数据存储能力 l高安全性 l开放性 l易于管理与维护 l 专门集成了数据仓库所需的ETL、OLAP、DataMining功能Oracle数据仓库系统工具平台 lOracleInternetApplicationServer是目前市场上综合性最强，集成度最高的应用服务器。它可以运行任何网站，门户或互联网应用，并且其速度比市场上其他应用服务器都要快，OracleInternetApplicationServer能让您通过传统浏览器和任何移动设备访问网站和应用。通过集成商务智能，它可以满足您最新的商务信息需求，它还加进了一套综合的管理，集成和协作技术，使您能够简化操作，提高效率。Oracle数据仓库系统工具平台 Oracle iAS由四部分服务组成：l通讯(Communication Services)l表示（Presentation Services）l商业逻辑(Business Logic Services)l系统服务(System Services)OracleiAS还包含了一系列的开发工具：Forms、Reports以及Discoverer。Oracle数据仓库系统工具平台OracleiAS具有以下特点：l提供完整的功能选件,如门户,无线,企业集成 l提供从开发工具到应用服务器,到后台数据库的完整解决方案,如支持数据库 l提供Web缓冲功能 l提供单次登录及集成的目录服务器功能 l提供广泛的应用服务器的管理与监控工具，监控对象包括应用服务器本身的运行状态，网站内容访问，如访问频度分析器、相应的报告工具等 l提供完整而集成的商业智能工具,如报表功能,数据分析功能 l提供集成的网站分析工具 Oracle数据仓库系统工具平台OracleiAS具有以下特点：l支持目前主流的Web服务器，并提高其安全性和可控制性 l提供相应的IDE开发环境，缩短开发测试周期。l提供对复杂WebServices的支持,并且完全支持业界标准 l跨平台支持，包括操作系统和数据库系统，以提高应用的灵活性和可移植性。lXML支持，支持XML数据的解释和输出。l强大的安全功能，包括安全套接层（SSL）、授权、数字认证和访问控制。l提供大量现成的组件,可以用于快速构建Web应用程序。Oracle数据仓库系统工具平台 lOracle Discoverer 是最终用户查询，报告，深入和旋转和WEB公布工具，能够帮助用户迅速访问关系型数据仓库、数据集市和业务系统，从而使他们做出基于充分信息的决策。Oracle数据仓库系统工具平台OracleDiscoverer具有以下特点：l 超乎寻常的易用性 l 快速查询及相应性能 l 强大钻取功能 l 强大自动汇总重定向能力 l 资源控制能力 l 低维护的最终用户层 l 基于服务器的可伸缩性 l 开放式访问Oracle数据仓库系统工具平台 l Oracle Developer(Forms&Reports)一个用于建立企业级客户/服务器和Web数据库应用的、易于使用的集成式快速应用开发环境（RAD）。Oracle Developer通过使用快速应用开发技术（RAD技术）、面向对象技术，基于计算机的内部学习，以及统一的客户、应用服务器和数据库服务器体系结构，为客户/服务器和Web开发建立了新的易于使用的生产力标准。Oracle数据仓库系统工具平台OracleDeveloper(Forms&Reports)具有以下特点：l 易于使用及开发 l 丰富的报表样式 l 多种文件格式(PDF,HTML,XML,XSL)l 可扩展的性能(Report Server)l Web 发布Oracle数据仓库系统工具平台lOracleBIBeans是集合了一系列标准JavaBean，帮助开发人员快速建立商业智能应用程序。直接从Oracle数据库中产生快速、灵活的随即查询和多维分析。Oracle数据仓库系统工具平台OracleBIBeans有以下部分组件组成：l 演示组件（图形、交叉表和图表）l OLAP 组件（查询和计算创建器）l 服务 多个组件将 JDeveloper 作为商务智能应用程序的开发环境，协同操作，利用 Oracle 技术堆栈和 Oracle OLAP 的高级分析特性，提高应用程序开发人员的开发效率。Oracle数据仓库系统工具平台lOracleEnterpriseManager是一套开放的综合系统管理系列产品，可以高效地管理整个Oracle环境，包括系统、数据库、网络和应用程序，可以大大减少系统管理员用于管理复杂产品环境的时间。OEM有以下四部分组件组成：l Oracle Diagnostics Pack 能够让数据库管理员实施对 Oracle 环境的高级监控、诊断和规划。l Oracle Tuning Pack 为数据库管理员提供了对 Oracle 环境的专家级性能管理能力，包括 SQL 优化调整和存储最优化。Oracle数据仓库系统工具平台OEM有以下四部分组件组成：lOracle Change Management Pack 能够消除在升级数据库以支持新应用时（可能产生的）数据错误与丢失。此工具包分析与应用变更有关的影响和复杂的依赖性，并自动实施数据库升级。lOracle Management Pack for SAP R/3 提供了对 SAP R/3 系统的实时监测能力、用于历史分析和未来规划目的的容量计划、事件集成以及对主机、数据库和应用的单点管理功能。Oracle数据仓库系统工具平台OEM具有以下特点：l使用统一的体系结构管理着整个 数据仓库系统 l集中控制平台单一视图管理 l实时监控 l分布式数据管理Oracle数据仓库系统工具平台Oracle数据仓库支持：1、任何数据源（AnySource）搜集在Oracle数据仓库中的数据来源众多，包括内部存储的业务数据和外部的数据。在传统上，数据仓库中的大多数数据来自内部业务系统，如业务系统或各客户信息系统等方面的数据。然而外部来源的数据也越来越普通，并且将会提供比内部来源更多的数据。上述两种数据来源应该融合在一个单一的存储系统中，并且加以管理，从而为最终用户提供对这两种数据源的无缝访问。Oracle提供各种网关（gateway）及Sql*Loader以及合作伙伴提供的各种工具来实现不同数据源数据的加载。Oracle数据仓库系统工具平台Oracle数据仓库支持：2、任何数据（AnyData）考虑到现在需访问的数据仓库的用户范围，系统设计者面临着纷繁各异的需求。对数据的访问必须快捷，直观和直接。大多数用户需要直接查询和深入的能力，而另外一些需要更复杂的分析能力。同时数据仓库必须能够处理新型格式的数据，如声音，视像，文字和空间数据。而且，日益增加的用户提出大量历史性需求，往往导致超大规模数据库（VLDB）的出现。为了满足这些需求，对作为数据仓库核心的数据库系统提出了很高的要求，而ORACLE数据库核心能够完全满足这些需求。Oracle数据仓库系统工具平台Oracle数据仓库支持：3、任何访问需求（AnyAccess）Oracle提供了基于数据仓库的范围广泛的工具集，能够帮助各种类型的用户访问数据仓库中存储的数据，我们把数据仓库的用户分为两类：第一类是对数据进行随意查询和报告，深入和旋转，这类用户需要一种直接和直观的工具，帮助他们轻松地访问数据，从而作出明智的商业决策。另外一类用户是企业的高级管理者和决策者，他们需要进行更复杂更高级更完全的分析（建模，预测和假设分析等），以支持制定商业策略。上述两类用户体现了整个企业对于信息访问的需求。今天的数据仓库已经突破了管理人员和分析人员的范围，现在各类企业人员都在使用数据仓库，决定选用何种工具实施数据仓库，变得越来越重要。数据仓库市场份额比较Oracle Oracle提供完整的产品工具集，满足上述数据仓库的用户需求 提供完整的产品工具集，满足上述数据仓库的用户需求Oracle 数据仓库国内部分用户l 电信 云南移动 福建电信 深圳电信 天津移动l 交通运输 中国民航信息中心 中国货运航空公司 中国东方航空公司l 能源 中国石化 镇海炼化 上海电力l 制造 中国朗讯（Lucent)摩托罗拉（Motorola)上海施贵保 长安汽车集团 南京汽车 武汉丽花丝宝 光明乳业政府国家统计局北京市国家税务局北京市地方税务局浙江公安金融中国银行中国工商银行中国农业发展银行深圳建设银行四川建行TB级案例：上海证券交易所（监察系统）2.5TBl Oracle数据仓库和商务智能整体解决方案介绍l OracleETL方案l Oracle存储和分析方案l Oracle前端展示方案什么是 Oracle Warehouse Builder?l 一个能设计、部署和管理企业数据仓库、数据中心和电子商务智能应用的可扩展框架 构造数据仓库 ETL（抽取、转换、装载）功能设计和部署 完整的生命周期管理 包含在DeveloperSuite中OWB工作流程 关系性数据 平面文件 应用 主机Oracle9iorOracle10g抽取和转换数据 6生成代码 4设计目标数据仓库模型1映射源数据 3部署数据仓库 5OWBrepository源数据目标数据仓库OWBClient2 定义源数据STEP 1:STEP 1:在在Warehouse BuilderWarehouse Builder中设置环境中设置环境为为开开始始使使用用Warehouse Warehouse BuilderBuilder，我我们们首首先先必必须须创建一个项目（创建一个项目（projectproject）.STEP2:STEP2:创建数据源创建数据源建立基于建立基于ORACLEORACLE数据库对象得源数据模块。数据库对象得源数据模块。该步骤仅是整个解决方案中的第一步。该步骤仅是整个解决方案中的第一步。定义数据源对象的结构。导入数据源元数据定义数据源对象的结构。导入数据源元数据定义数据源对象的结构包括如下行为：定义数据源对象的结构包括如下行为：1)1)定义和创建针对平面文件的数据源模块定义和创建针对平面文件的数据源模块22）定义和创建针对关系型数据库的数据源模块）定义和创建针对关系型数据库的数据源模块33）从数据源对象导入元数据到数据源模块）从数据源对象导入元数据到数据源模块STEP 3:STEP 3:设计数据仓库设计数据仓库 该模块该模块利用利用Warehouse Builder Warehouse Builder 创建表、视图、创建表、视图、方案的一些特征。在此部分我们将创建事实表及维。方案的一些特征。在此部分我们将创建事实表及维。完成这些工作后，就能将数据载入这些结构中定下完成这些工作后，就能将数据载入这些结构中定下数据仓库。数据仓库。STEP4:STEP4:设计映射与转换模型设计映射与转换模型 OWB OWB 的核心功能是基于的核心功能是基于ETL ETL 过程。利用过程。利用OWB OWB 映射设计工具完成这些过程的设计。将充分利用前映射设计工具完成这些过程的设计。将充分利用前面在面在OWBOWB中定义好的数据源与数据目标，允许客户中定义好的数据源与数据目标，允许客户用用PL/SQL PL/SQL 开发辅助数据转换。开发辅助数据转换。STEP 5:STEP 5:配置，部署，运行配置，部署，运行 在设计完数据仓库后，在数据库中安装它，并在设计完数据仓库后，在数据库中安装它，并载入数据。如何配置在前面中创建的模块，并运行载入数据。如何配置在前面中创建的模块，并运行映射，载入数据。映射，载入数据。STEP6:STEP6:生命周期管理生命周期管理 数据仓库是一个一直在进化的系统。为了处理数据仓库是一个一直在进化的系统。为了处理数据源及数据目标的变化，数据源及数据目标的变化，OWB OWB 提供了用户数据源提供了用户数据源协调及数据仓库升级的手段。协调及数据仓库升级的手段。l Oracle数据仓库解决方案l OracleETL方案l Oracle存储和分析方案l Oracle前端展示方案Oracle 数据仓库-数据管理超越传统海量数据管理能力 最多的 最多的数据分区技术 数据分区技术物化视图物化视图集成 集成OLAP OLAP、Data DataMining Mining和 和ETL ETL服务 服务位图索引 位图索引位图联合索引 位图联合索引ShareDisk ShareDisk的 的并行处理和集群 并行处理和集群数据压缩数据压缩自动存储管理自动存储管理 智能化自我管理智能化自我管理l Oracle数据仓库和商务智能整体解决方案介绍l OracleETL方案l Oracle存储和分析方案l Oracle前端展示方案单一基础架构支持全面的信息访问中央数据仓库引擎DataWarehouseETLOLAPDataMining逻辑统一，物理集成完整展现，性能卓越只有Oracle Application Server 10g 能做到所有 SQL 查询工具即席查询工具Discoverer定制报表Oracle Reports集成开发接口Excel 插件 数据挖掘Discoverer 方便访问数据点击式，非常简单拖放式的布局交互式提示右键单击以获得有用的选择多步骤任务的向导在任何级别上获取信息l 功能强大的下钻特性来自于聚合数据报告您的见解l 需要通知其他人吗？发布到OraclePortal以电子邮件方式发送给团队保存在Excel中输出到AdobePDF或者从任何web浏览器中访问！电子表格插件l 作为Excel插件安装l QueryBuilder向导驱动的界面 导航OracleOLAP多维数据集、维和层次 异常、top/bottom、排名 基于层次、基于时间 创建和存储已保存的选项l CalcBuilder向导驱动的界面 创建和存储基于OracleOLAP的计算 基于时间的计算、移动平均值l 所有可用的标准Excel功能（例如图形、格式化）l 与其他用户共享工作表文件Oracle Reportsl 基于web的一种灵活而功能强大的解决方案，使用户能够以任何格式在任何地方发布任何数据。Oracle 数据挖掘l Oracle数据挖掘的GUI组件l 构建、评估和应用数据挖掘模型门户：集成安全的个性化的信息访问图表分析个性化主页评估指标预警报表HelloPatJohnson思考题思考题阅读以下关于数据仓库的叙述，回答问题阅读以下关于数据仓库的叙述，回答问题11、问、问题题22和问题和问题33。随着计算机应用的不断普及，某集团公司先后随着计算机应用的不断普及，某集团公司先后建立了生产、销售、财务、人事管理等应用系统，建立了生产、销售、财务、人事管理等应用系统，并积累了大量的数据。面对日益激烈的市场竞争，并积累了大量的数据。面对日益激烈的市场竞争，公司领导希望建立一个分析环境，对积累的数据进公司领导希望建立一个分析环境，对积累的数据进行再加工，以支持高层决策。公司技术部门的王总行再加工，以支持高层决策。公司技术部门的王总工程师提出建立一个数据仓库系统。他认为数据仓工程师提出建立一个数据仓库系统。他认为数据仓库能够将企业内部分散的、跨平台的数据重新组织库能够将企业内部分散的、跨平台的数据重新组织与加工，建立数据仓库的最终目标是建立一个全面、与加工，建立数据仓库的最终目标是建立一个全面、完善的信息应用平台，利用该信息平台，进行数据完善的信息应用平台，利用该信息平台，进行数据分析和数据挖掘，支持公司高层的决策分析。分析和数据挖掘，支持公司高层的决策分析。经过讨论，大家认为目前建立数据仓库需要完经过讨论，大家认为目前建立数据仓库需要完成的基础工作有：成的基础工作有：(1)(1)明确数据仓库的目的，了解公司的业务现状，特明确数据仓库的目的，了解公司的业务现状，特别要弄清数据源所在的系统和其中的数据状况。别要弄清数据源所在的系统和其中的数据状况。(2)(2)构建数据仓库。包括数据仓库的设计、组织和管构建数据仓库。包括数据仓库的设计、组织和管理以及决策信息的展示。理以及决策信息的展示。(3)(3)数据仓库的应用推广和人员的培训。数据仓库的应用推广和人员的培训。(4)(4)引进必要的产品和工具。引进必要的产品和工具。问题问题11在讨论中，有些工程师提出了不同的意见。在讨论中，有些工程师提出了不同的意见。有人认为由于缺乏经验，应该先建立小规模的数据有人认为由于缺乏经验，应该先建立小规模的数据集市，然后再升级到完整的数据仓库系统。简要叙集市，然后再升级到完整的数据仓库系统。简要叙述与数据仓库相比，数据集市具有哪些特点。述与数据仓库相比，数据集市具有哪些特点。问题问题22王总工程师提出，对于数据仓库系统的开发，王总工程师提出，对于数据仓库系统的开发，一般推荐螺旋式的开发方法。说明如何用螺旋式的一般推荐螺旋式的开发方法。说明如何用螺旋式的方式开发数据仓库系统。方式开发数据仓库系统。问题问题33 在讨论快结束时，有工程师提出了意见。认在讨论快结束时，有工程师提出了意见。认为目前建立数据仓库需要完成的基础工作中有非常为目前建立数据仓库需要完成的基础工作中有非常重要工作没有包含在里面，你认为是什么？重要工作没有包含在里面，你认为是什么？