云计算资料 微软tedarc203_wangyan.ppt
《云计算资料 微软tedarc203_wangyan.ppt》由会员分享,可在线阅读,更多相关《云计算资料 微软tedarc203_wangyan.ppt(67页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、云计算资料云计算资料 微软微软TED2009 ARC203_wangyan云计算中的数据存储方案ARC203什么是云计算中的数据存储给出6个云存储的要素微软平台下各个要素的实现方式比较其他云存储讲座目标什么是云存储应用的变革概念公有云服务-PublicCloud面向Internet提供的可扩展的计算资源池提供的服务,比如WindowsAzure,SaleF私有云服务-PrivateCloud面向企业内部提供的可扩展的计算资源池提供的服务,通常由位于企业防火墙内的自己管理的数据中心提供服务,比如DynamicIT云存储服务-CloudStorage公有云或者私有云中的数据存储服务云服务的几个层次
2、云存储平台+云应用服务-从SAAS的角度1.云存储平台=结构化&非结构化的存储+集成的初始化配置,部署及监控+分布式节点2.云应用服务=运行于存储平台上的应用及服务要旨要旨:提供低成本,可无限提供低成本,可无限扩展,展,高可用性的存高可用性的存储平台,同平台,同时提供提供全面的数据存全面的数据存储类型型云应用服务云存储平台BusinessLogicLayerServiceLayerMid TierBack End*RelationalStorage:提供复杂结构性(关系型)数据及非结构性和半结构性数据的存储。*BlobStorage:提供非结构性数据及其元数据的存储*Scale-outstor
3、age:提供极具扩展的简单结构型数据的存储,常以Entity为单位云存储分类云存云存云存云存储储分分分分类类微微软公有云公有云(Windows Azure)第三方公有第三方公有/私有云私有云*Relational storageSQLAzureDatabaseSQLServer*Blob storageBlobs自定义*Scale-out storageTables自定义云存储的六大要素云存储的要素之一可扩展性-Scalability云服务的逻辑架构Web TierBrowserRequestB/L TierStorageResponse云应用服务云存储平台BusinessLogicLayer
4、ServiceLayerMid TierBack End瓶颈Web TierB/L TierStorageBrowserBrowserBrowserBrowserBrowser“服务器忙”“超时”“服务器忙”WindowsAzureWeb RoleAzureStorageBrowserBrowserBrowserBrowserBrowserWeb RoleWeb RoleN L BWorker RoleWorker RoleWorker RoleN L Bp1 p2 p3AzureBlobStorageAccount下可以有许多ContainerContainer下可以有许多Blob每个Blo
5、b最大50GB.不同Container可以位于不同的存储节点?BlobContainerAccountsallypicturesIMG01.JPGIMG02.JPGmoviesMOV1.AVIAzureTableStorage-特性Account下可以有许多TableTable可以划分为无限多的Partition,通过partition来扩展不同Partition可以位于不同的存储节点Table是Entity的集合,Entity是属性的集合两个关键属性PartitionKey-提供可扩展性RowKey唯一标示该partition中的Entity相同PartitionKey的Entity存在同个
6、存储节点,使数据操作更有效AzureTableStorage-例子TablePartition拥有相同partition键值的所有Entity的集合高效地获取所有版本的FAQDoc文档(单一Partition查询)该两个partition可以由不同服务器提供,实现高扩展的访问性能Partition KeyDocumentNameRow KeyVersionProperty 3Modification Time.Property NDescriptionExamplesDocV1.08/2/2007.CommittedversionExamplesDocV2.0.19/28/2007Alices
7、workingversionFAQDocV1.05/2/2007CommittedversionFAQDocV1.0.17/6/2007AlicesworkingversionFAQDocV1.0.28/1/2007SallysworkingversionPartition Partition 2 2Partition Partition 1 1SQLAzure-网络拓扑图应用负载均衡均衡设备TDS(tcp:1433)TDS(tcp:1433)TDS(tcp:1433)应用采用标准SQLclientlibraries:ODBC,ADO.Net,DataNodeDataNodeDataNodeD
8、ataNodeDataNodeDataNodeGatewayGatewayGatewayGatewayGatewayGateway高扩展及可用性:Fabric,Failover,ReplicationandLoadbalancingSQLAzure-特性目前单个数据库最大10GB采用DBSharding技术来Partition数据,实现高度可扩展性。利用几个数据库来存储一套应用数据相同的数据库结构数据被在各个数据库中基于一定规则(地理信息,客户)水平分割(shards)未来将对自动分区提供进一步的支持SQLAzure-分析Sharding模型PrimaryShardPrimaryShardSh
9、ardChildShardChildGlobalGlobalGlobalGlobalCountry,OrderDateContactIDCountry,OrderDateContactID可作可作为为partitionfieldpartitionfieldOnPremisesSQLServer-扩展模式功能性分区案例1一家美国大型证交所MessageQueue连接各功能模块案例2北京奥林匹克网站监控模块数据分区案例3MyS功能分区-初始设计Access Access SeriesSeriesOrder Order MakerMakerMatching Matching EngineEngine
10、JournalJournalParticipant Participant InstrumentInstrument单个数据库实例单个数据库服务器硬件要求高提供向上扩展有限的性能有限的可扩展性易于开发AccessJournalParticipantDataInstrumentData50,000 Trades/secTransactional Messaging QueueBatch Messaging Queue美国证交所功能分区-目前设计Access Access SeriesSeriesOrder Order MakerMakerMatching Matching EngineEngin
11、eJournaldataJournaldataPartitionsPartitionsParticipantParticipantDataDataPartitionsPartitionsInstrumentInstrumentDataDataPartitionsPartitionsAccessJournalMulti-queuePipeParticipantDataMulti-queuePipeInstrumentDataMulti-queuePipe增强的性能无限的可扩展性需要修改应用三个以上的数据库实例三个以上的数据库向上和向外的扩展ParticipantParticipantDataDa
12、taPartitionsPartitionsParticipant DataPartitionsInstrumentInstrumentDataDataPartitionsPartitionsInstrument DataPartitionsJournaldataJournaldataPartitionsPartitionsJournal DataPartitions125,000 Trades/secTransactional Messaging QueueBatchMessagingQueue美国证交所MessageQueue连接功能模块-物理架构Silverlight2.0客户端60%I
13、E,40%其他浏览器IPLoadBalancer(RedundantPair)高峰期540万次点击4千万用户WebTier(15WebServers)WS2K8,IIS7.0,ASP.NET,WCFSQL2K8SSBInitiatorQueuesDataTier(WriteOnly)WS2K8,SQL2K8SQL2K8SSBTargetQueue,RawLogTableDataWarehouse(ReadOnly)WS2K8,SQL2K8,SSIS,SSRS,SSASRawLogDimensionalModel初始服务将消息存储在转换队列直到servicebroker可以发送到目标服务端目标服
14、务将消息加入队列Loggingservice调用发送消息存储过程发送收到的消息客户端构建消息并调用loggingservice队列上的存储过程被激活,获取队列消息,将记录插入RawLogRawLogtableMessageQueue连接功能模块-LoggingService设计发送消息的存储过程开始在初始和目标服务间发起对话并发送消息数据分区-功能需求MySpaceDBAverageConnections/ServerAverageRequests/sec/ServerProfile6,8001,100Mail4,400775Shared2,0001,600Features800400Secu
15、rity4,8003,700Search300500Browse80500Dispatcher61200数据分区-MySpace分区设计演示DBSharding云存储的要素之二多租多租户-Multi Tenancy简介AccountBlobTableWindowsAzure的Table及Blob存储通过Account自然实现主要讨论SQLAzure及On-premisesSQLServer下的实现三种数据设计模式Web Tier/Web RoleBrowserB/L Tier/Worker RoleDatabaseBrowserBrowser客户#1客户#2客户#3固定的表结构优点:最简单的方
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 云计算资料 微软ted arc203_wangyan 计算 资料 微软 ted
限制150内