《数据上云之路.pptx》由会员分享,可在线阅读,更多相关《数据上云之路.pptx(25页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、数据上云之路,阿里巴巴数据库技术专家 冯明磊,将既有系统的数据平滑迁移至专有云,Senior Engineer, Database Technology,数据传输 DTS简介,数据传输 DTS在专有云中,数据迁移至专有云的关键需求,数据传输 DTS的关键特性,2 3 4,1,数据传输 DTS,企业级实时数据流解决方案,RDS,自建数据库,Oracle,SQL Server,PostgreSQL,PPAS,DB2(Coming Soon),OceanBase,PetaData,DRDS,数据传输 DTS,MongoDB,NoSQL,Redis,OLAP,ADS,MaxCompute,Spark,
2、Hadoop,Application,Tair,Kafka,源自阿里集团数据库及单元化多活架构实践 打通各种异构数据源间的数据流动,让数据发挥更大的业务价值 实时数据同步分发,帮助企业有效提升业务系统的可靠性、稳定性及性能,数据传输 DTS 架构,多种部署形式,公共云,专有云,混合云,软件化(Coming Soon),数据传输 DTS 在阿里专有云架构中,将数据迁移到专有云的关键需求,异构数据迁移,Heterogeneous Data Migration,DTS 支持多种数据源,DTS 简化异构数据迁移的工作,上云评估功能,对待迁移数据库做上云迁移预评估,简化迁移前期准备工作能够结合阿里云提供
3、的应用和数据库迁移工具,做进一步的评估和改造,提供异构数据库常见字段类型的映射,减少大量人工配置的开销在结构迁移过程中自动构建迁移目标端的定义并完成对象的创建全量数据迁移自动完成存量数据数据的导出/导入,免去传统工具手工导出/转换/导入数据的复杂操作,提供基于数据变化日志记录的增量数据迁移,无需再设计复杂的流程增补数据的增量变化数据迁移各个阶段均有明确的状态提示,可以方便地监控迁移的进度,并选择合适的时间进行应用切换增量数据迁移达到源端和目标端的增量同步后,应用可以快速进行切换,上云评估,自动迁移,无缝切换,某百货集团通过 DTS 实现去 O 迁移上云,面临主要问题,现有的 Oracle 数据
4、库是目前业务的性能瓶颈,活动时,Oracle 上的存储过程占用了实例将近 80% 的 CPU要求在系统持续运行、不停机的情况下将 Oracle 上业务迁移到阿里云 DRDS 分布式数据库要求实现数十个商场和集中数据中心之间的数据汇总和分发,解决方案,通过 DTS 搭建商场到数据中心之间的双向同步链路,实现数据的汇总和分发通过 DTS 搭建数据中心 Oracle 数据库实例到阿里云 DRDS 的数据全量加增量迁移按照业务模块将原来运行在 Oracle 上的业务逐渐切换到 DRDS 上通过 DTS 将 业务在 DRDS 上产生的数据变化回流回 Oracle, Oracle 和 DRDS 在业务完成
5、割接期间互为灾备,保证业务连续性,最小化停机时间,Lower System Downtime,迁移过程不停机,结构迁移:将源实例中的结构对象定义一键迁移至目标实例。全量数据迁移:将源实例中的历史存量数据迁移至目标实例。增量数据迁移:将迁移过程中,源实例产生的增量数据实时同步到目标实例。,应用中断服务的时间 = 访问切换时间。,某省气象通过 DTS 实现不停机从 Oracle 迁移至 DRDS,异构迁移借助 DTS 提供的全量数据迁移 + 增量数据迁移的功能,成功将现有系统的数据从 Oracle RAC 数据库迁移至分布式数据库 DRDS。最小化停机时间全量数据迁移和增量数据迁移过程中源数据库无
6、需无需停机,应用只需要在目标端追平源端数据后,做快速切换。,数据完整性、一致性,Data Integrity,数据一致性、可靠性保证,基于事务复制,数据一致性校验,断点续传机制,多种高可用保障,久经业务验证,数据变化复制均以事务为单位。完善的冲突数据检测机制。严格保证复制过程中数据的完整性和一致性。,支持全量校验和增量校验。支持不一致数据报告。支持一键数据订正。,完善的检查点机制,应对各种类型的异常中断。异常数据回拉,自动冲突解决。最终一致性保证。,集群化部署,自带高可用保护。心跳保护,快速发现故障。故障业自动恢复,务无感知。,全面支撑阿里集团、阿里云、蚂蚁金服等关键业务。支持5年双11,可靠
7、性、性能久经考验。,高性能、低延时,链路延时:亚秒级,低至 500 毫秒同步性能:每秒钟超过 30000 条记录,冲突检测、散列并发压缩、服务端数据过滤等特性减少传输数据量多连接重传等特性降低劣网环境下的网络丢包阿里双十一当天全天同步总量:PB级别高峰增量流量:Gbps级别,某大型国企通过 DTS 提升大数据分析实时性,DTS 支持:RDS-ODPS 实时数据同步RDS-AnalyticDB 实时数据同步运行在分布式数据库 DRDS 上的业务可以基于底层 RDS 将业务数据变化实时同步到后端大数据架构,实现实时的大数据分析。,某移动运营商通过 DTS 实现数据到搜索引擎的秒级同步,业务挑战:分布式数据库基于一定的“分库分表”键将数据分散到不同的节点,从而解决高并发访问、海量数据存储等问题。但是,由于数据分布方式的固定,导致多维查询等操作在分布式数据库中运行效率不高,很难兼顾多种查询条件。解决方案:通过引入基于 ElasticSearch 构建的搜索中心,通过 DTS 将分布式数据库中的数据实时同步到搜索中心,解决分布式非严格一致性多维数据查询的问题。,图形化的使用、运维和管控,THANK YOU,
限制150内