存储网络（SAN）教战手册.ppt

,Jason Huang, Jerry LiuCSE, Data Center,存储网络（SAN）教战手册,思科SAN产品（MDS）技术优势,1 体系架构 2 VSAN 以及IVR3 SAN 远程连接4 FICON5 Port Channel6 VMware环境,思科SAN产品（MDS）技术优势,1 体系架构优势Cisco vs. Brocade-两种不同的交换体系架构,Brocade 共享内存交换,简单, 低成本设计 保存在缓存种并等待被传输 共享缓存的速率是最主要的限制，因为ASIC的可用缓存空间非常有限 访问缓存的过程没有仲裁,提供了一个极其有弹性的，高容量的交换体系架构 当frame被交换时，会在进端口和出端口之间建立一个临时的连接 使用虚拟输出队列可完全消除阻塞 使用仲裁机制实现队列交换预测，优先级控制以及平等交换,Cisco Crossbar 交换,Control, Scheduling,1 体系架构优势 总结,*在Brocade的微码6.4.0b以后，似乎增加了对错误包的处理，但只是限于告警，而非主动的应对机制,关于架构的优势，实战中应以早期引导客户为主，让客户感觉技术的优势，可以辅助一些第三方测试报告，见backup slides。,VSANs, 定义为Virtual Fabrics, 为ANSI T11 标准FC-SW-4 and FC-FS-2 specificationsVSAN可将一个物理SAN分隔成多个虚拟SAN每个VSAN在硬件隔离的情况下可以有独立的Fabric服务 Zoning Server with separate zone sets Name Server Domain Manager Roles-based Access Controls (RBAC) Domain IDs FSPF RoutingVSAN可以按端口级别分配ISL可以承载多个VSAN的流量ISL可以指定给某个VSAN专用,2 VSAN以及IVRCisco 虚拟fabric(VSAN),静态隔离整合的fabric,2 VSAN以及IVR 比较优势(1),2 VSAN以及IVR 比较(2),3 SAN 远程连接SAN远程连接技术,Short distance <= 100km,FC over DWDM/CWDM同城范围内的灾备基于裸光纤专用线路低延时，适合同步数据复制的灾备,LocalDatacenter,SAN,SAN,SAN,IP RoutedWAN,SAN,SAN,SONET,SAN,Medium distance <= 160km,Short Long distance0 - 5000+ km,LocalDatacenter,LocalDatacenter,RemoteDatacenter,RemoteDatacenter,RemoteDatacenter,FC over SONET/SDH中距离的灾备不能采用裸光纤的情形传输链路可能是共享的适合大多数数据复制环境,FC and FICON over IP通常用于异地灾备不能采用裸光纤的情形传输链路可能是共享的通常用于异步数据复制的灾备,IncludesintegratedCompression& Encryption,3 SAN远程连接的优势,思科可以提供完整的远程SAN连接方案，包括SAN，DWDM，SONET和IP，技术融合更好相对来说博科需要和第三方合作，才能提供完整的方案。实施中，难于统一协调各方配置；出现问题后，容易互相推诿。MDS本身即有CWDM和DWDM模块，集成度高，降低用户的整体方案成本博科本身不提供CWDM和DWDM模块端口的Buffer 更大，即意味着在相同传输速率下，连接的距离更远思科最大为5590，相比较博科为1292思科的FCIP方案集成了硬件压缩和优化的TCP处理技术，传输效率更高，通常可以达到4:1（相比较博科通常为2:1）；同时，FCIP还具有数据加密功能，保证异地数据传输的安全支持多块卡的FCIP端口捆绑，而不需额外的软件许可费用博科只能支持单一板卡的多FCIP端口捆绑，不具备高可用性博科如果需要多端口捆绑，则需要单独的Trunking License针对复制的优化技术，例如IOA等，在特定的灾备方案中，极大提高传输效率博科没有相应的优化,4 FICON思科MDS是替代原有FICON Director的首选,MDS,FICON Director,MDS从设计初即支持FICON连接MDS的无阻塞架构保证了IBM主机系统对I/O的低延时要求MDS的虚拟SAN技术，可以很好地隔离各FICON连接，使得生产、开发/测试互不干扰从原有的FICON Director迁移到MDS环境，原有主机的IOCDS定义无需修改，可以在MDS上配置与原有FICON Director相同的端口地址,4 FICON环境中的优势,MDS是成熟的FICON产品，可以支持最新的zHPFMDS架构的无阻塞优势，更好地满足IBM主机系统对I/O低延时的要求博科的交换机在跨ASIC交换时，时延极大地增加且无保障MDS的VSAN技术优势，可以很好地隔离客户的生产和开发/测试环境，降低成本相对来说，博科的LSAN技术有很大的限制MDS可以灵活地支持多种远程SAN连接方案，对于远程传输有极大的优化MDS针对IBM的XRC（基于主机复制的远程灾备方案，目前四大商业银行均采用此方案），有极大的优化,5 PortChannels vs. Trunking,Brocade同一板卡同一 ASIC同一端口组 Trunk 只允许最多8个ISL同一个故障域并不支持高可用性,Cisco不同的ASIC不同的端口组PortChannel允许最多16个连接多个故障域提供了高可用性,DCX Trunking,MDS PortChannels,在实战中，明确支持基于不同板卡形成级联链路的捆绑，以保证高可用性。另外，从性能上考虑，需要支持最大16条线路的级联链路捆绑。,5 PortChannel的优势,PortChannel有更高的可靠性和灵活性 分布在不同板卡，不同端口组上PortChannel有更高的适用性 无master/slave 概念，可适用于IVR链路更高的聚合带宽 16 x 10G vs 8 x 8G更好的长距离性能免费提供,6 VMware环境优势,提供可预测的，稳定的运行速率可提供VM层面的VSAN和IVRVM层面的QoSVM层面的安全访问控制VM层面的距离延伸（通过FC或FCIP),思科SAN产品（MDS）应用场景,1 SAN 整合/核心边缘体系结构2 灾难备份3 FICON环境4 VMware应用环境5 存储加密(SME)6 数据迁移(DMM)7 SAN 安全管理8 智能存储应用(SANTap)9 FCoE应用环境,思科SAN产品（MDS）应用场景,部门二的SAN,部门三的VSAN,独立的物理SAN，存储难以在部门间共享 每个物理SAN需要配置独立的冗余端口，成本高 需要管理的交换机数量多，管理工作量大 各个SAN端口不能迁移,Collapsed Fabric with VSANs,Cisco MDS 9000 Family,部门三的SAN,部门一的SAN,基于应用或部门的SAN孤岛,部门二的VSAN,部门一的VSAN,在VSAN间建立统一的存储资源共享池,统一的物理SAN，存储易于在部门间共享 统一规划冗余端口配置，降低成本 所需管理的交换机数量少，管理工作量小 端口可以方便地在VSAN间迁移，易于调整与配置,IndustryFirst!,SAN的整合与资源共享,灾备方案的SAN环境,HRSAN,SalesSAN,MarketingSAN,SAN Extension Services,利用思科的VSAN及IVR，将生产环境与灾备环境相连接，但避免异地SAN融合,采用基于磁盘复制的灾备方案，往往都是在实现了存储整合的基础上，即实现了业务处理、数据的大集中生产数据采用基于磁盘复制的灾备方式，例如EMC/SRDF，HDS/UR，IBM/MM、GM等客户可以按照需要，选择两中心灾备模式，两地三中心高可用灾备模式，或多中心高可用灾备模式对SAN的要求是实现Fiber Channel（FC）的远程传输，以实现SAN的同城、异地连接，保证数据复制选择同城、异地的数据复制，决定于客户的应用对灾备目标的选择以及对远程数据复制时延的忍受程度,大规模的SAN网络设计模式,16,16,16,16,16,16,16,16,存储设备磁盘阵列,服务器：双链接到冗余的交换机,方案特点：整体架构采用核心边缘的设计，核心与边缘之间采用多路的高可用Port Channel连接，保证性能与高可用性。整体架构的扩展能力强，核心建议采用MDS 9513，其本身的扩展能力非常强，单台可以提供528端口的连接。边缘配置灵活，可以从MDS全系列中按需选择。存储设备连接到核心层面，提供给服务器的共享存储，可以满足不同部门共享存储的需求。服务器遵循高可用性的设计原则，对称连接到冗余的边缘交换机上。MDS的VSAN功能可以很好地实现对不同虚拟存储网络的隔离，可以隔离生产与办公、开发、测试等环境；同时帮助客户更有效地利用存储，可以很快地帮助客户复制生产环境的数据到开发、测试环境。,Corporate HQ,RemoteSites,Backup Servers,使用集成FICON over FCIP实现灵活的远程访问和数据复制,Cisco的技术简化了业务连续性适合各距离要求的解决方案CWDM SFPsDWDM 及 SONET 光产品MDS 9000 IP存储服务板卡,CWDM,IP网络,FCIP跨越全球的距离,MDS9509,DWDM/SONET,MDS 9000,MDS 9000,MDS 9000,中国建设银行,中国建设银行,方案特点：超大型SAN 网络设计和部署洋桥数据中心采用双fabric, 每fabric双核心-边缘体系架构，最大限度的提升系统可用性和可扩展性MDS9513无阻塞的体系架构保证作为SAN核心提供最优的业务性能MDS 9513高端口密度和高带宽保证了各楼层机房与核心之间互连有足够的冗余性和带宽洋桥核心MDS9513仅用来连接各楼层机房和亦庄机房的边缘SAN交换机，不连接任何设备经过计算的超载比优化系统端口的分布和PortChannel的利用率VSAN的应用将多个业务清晰的隔离并可对不同业务实施不同的管理策略洋桥与亦庄机房全部SAN交换机，以及中间的链路DWDM连接设备全部由Cisco提供，为客户提供了全局的解决方案架构支持未来FCoE设备的连接,针对客户现有第三方SAN环境的策略和切入点,策略一：先渗透，再迁移,整体上，建议客户从进一步SAN整合入手考虑设计，从架构优势和整体方案上，介绍思科SAN方案的优势。在过度阶段，有可能出现与第三方SAN共存的阶段。在设计上，尽量采用双SAN架构的设计，即思科SAN与第三方SAN各自独立，这样，即避免了兼容性的问题，又可以相互备份。在上述方案的基础上，逐步扩大思科SAN环境。第一步将新的系统接入到思科SAN环境，让客户初步尝试思科SAN的好处；第二步将现有的一些核心业务迁移到思科SAN环境中；最终完成所有核心生产系统的迁移。这样，能充分发挥思科SAN的优势，让客户满意。思科有相关的服务部门提供SAN迁移的服务。在博科FOS 6.4.0后，博科封闭了对第三方SAN交换机的连接！这意味着客户选择博科，那么将被迫与博科的未来绑定，这及其不符合开放市场竞争的原则，希望客户慎重考虑。相对来说，思科的SAN交换机设计更符合开放的标准，可以给客户更多的选择。,策略二：灾备与生产独立建设,在客户建立生产中心的SAN环境，同时考虑到灾备中心的建设时；或客户稍后考虑灾备中心建设时，是思科SAN很好的切入点。一般情况下，灾备中心的SAN环境可以独立于生产中心的SAN环境，可以在灾备中心让客户采用思科的SAN方案，这样，避免了兼容性问题。同时，可以向客户推荐思科的远程SAN连接方案，作为整体灾备方案的一部分。此远程SAN连接方案，尽量只涉及存储之间或服务器与存储之间的连接，这样也避免了与第三方SAN的兼容性问题。,MDS 在国内的主要客户,SP:中国移动(16省)中国联通(10省)中国电信(14省)Government and Enterprise:铁道部国家电网部分省公安厅局部分省财政厅局国税总局部分地方税务局,FSI:中国银行中国建设银行中国农业银行中国人民银行交通银行招商银行民生银行华夏银行中信银行广发银行中国银联广发银行,CCTV青岛海尔一汽大众上海汽车东风汽车首都机场浦东机场,中国人民保险公司中国人寿上海证交所国泰君安证券中信证券海通证券,MDS 9000系列产品中国区联系人,Backup slides,8Gb环境下的性能测试,Miercom 测试Brocade DCX 带有2块32端口板，16个单一方向数据流， 1个8G数据流，31个4G数据流Miercom 报告“Cisco MDS 可以通过所有混合速率环境的的测试，但是在某些条件下，Brocade却显示出一定的性能下降，最多高达50！当31个端口并发混合速率4G模式被应用时，一个8-Gbps连接的吞吐量从840-Gbps降低到420-Gbps。,DCX 是有阻塞的交换机 8G只能达到4G的传输带宽.,Cisco MDS与Brocade本地交换的对比测试（1）,37,38,39,40,13,14,15,16,33,34,35,36,9,10,11,12,29,30,31,32,5,6,7,8,25,26,27,28,1,2,3,4,45,46,47,48,21,22,23,24,41,42,43,44,17,18,19,20,混合数据流，8个initiator, 1个target每个initiator应该有105MB带宽到target,测试:,结果:,SANtester 有固定的，随机的和增加的OXID队列任何流量都不受影响 一致的公平的性能,Cisco测试结果,Cisco MDS与Brocade本地交换的对比测试（2）,混合流量从4个initiator到1个target每个initiator应该得到210MB的带宽,Traffic Flows:端口15到端口31 本地交换端口30到端口31 本地交换端口7到端口31 背板交换端口23到端口31 背板交换,Condor 2 ASIC(40 x 4G),8,8 x 8Gunused,Condor 2 ASIC(40 x 4G),3,2,1,0,6,8 x 8Gunused,7,12,13,14,15,19,18,17,16,22,23,28,29,30,31,9,10,11,24,25,26,27,5,4,21,20,8 x 8G,8 x 8G,8 x 8G,8 x 8G,Brocade测试结果,Cisco MDS与Brocade本地交换的对比测试（3）,SANtester 使用随机OXID队列本地交换流量受到影响,SANtester 使用固定OXID队列本地交换不受影响,Brocade本地交换或非本地交换都无法实现线速，且相互干扰,Brocade测试结果,Brocade DCX 并不阻止损坏的数据,沉默的数据损坏总是会发生的，这对业务来讲是灾难性的DCX在SAN中转发损坏的帧这将导致消耗故障排除的时间和精力偶尔发生的性能问题必须要追踪数据损坏Cisco MDS检测并丢弃损坏的帧，防止fabric阻塞和数据损坏，并可根据事先定义好的阈值关闭损坏的端口,*Data Corruption at Netflix: http:/blog.netflix.com/2008/08/shipping-delay-recap.html,坏帧测试(1),Brocade交换机向全fabric转发有CRC错误的帧Brocade交换机依赖于相连的设备来丢弃收到的坏帧Brocade交换机对进入fabric的坏帧没有保护机制，这个坏帧可能来自：一个损坏的HBA卡一个损坏的SFP模块一条损坏的线缆客户为什么要接受这样的处理方式？Cisco MDS 会自动丢弃损坏的帧,坏帧测试(2),Initiator 101/1Initiator 101/2Initiator 101/3Initiator 101/4,Initiator 201/1Initiator 201/2Initiator 201/3Initiator 201/4,Initiator 301/1Initiator 301/2Initiator 301/3Initiator 301/4,Target 102/1,Target 202/1,Target 302/1,48000,DCX,9509,坏帧测试(3),Initiator x01/1,Initiator x01/2,Initiator x01/3,Initiator x01/4,坏帧测试(4),Port Channel 测试 (1),测试环境,拓扑结构,Single Fabric,Dual Fabric,Port Channel Test (2),测试方法,通过SMIT在其上创建的ciscovg，然后创建了两个文件系统。在其中一个文件系统（源文件系统）中预先拷贝了11GB 左右的文件。在测试中，通过cp的方式，将这些文件拷贝到另一文件系统（目标文件系统），来模拟应用系统的并发 的读写I/O。,在测试中，通过在服务器上的iostat命令查看HBA卡和磁盘的I/O状况。,Port Channel Test (3),测试结果,结论,从以上的测试过程中，思科的MDS交换机在级联的配置下，级联链路可以很好的负载分担流量。当级联链路发生故障时，对于主机的I/O没有影响。同时，级联链路在配置了port channel或没有配置port channel的情况下，均可以自动分配流量到剩余的级联链路上，很好地实现了负载分担和高可用性。,DCX 高可用性测试使用Oracle测试脚本,Oracle数据库性能测试，使用HammerOra提供测试流量（http:/hammerora.sourceforge.net）- 两台Win 2003服务器 (8G HBAs)两台SATAbeast存储阵列 (双 4G 端口)每台服务器的I/O负载都很轻:- 5MB/s (小于8G的1)- 60% 读和40% 写,MDS 高可用性测试结果 - Oracle 数据库流量,9513 FAB-2(交换板）下电，拔出，插入，再上电,9509主动引擎板带电拔出,9509 引擎板插入，上电,No impact to traffic,No impact to traffic,No impact to traffic,DCX 高可用性测试 - Oracle 数据库流量,DCX CR8 交换板下电,DCX CR8 上电. 当自检完成后进入在线状态时,应用流量停顿3035秒！,结论,Brocade 交换机无法很好处理不同速率的混合环境，尤其是在SAN上出现非常低速的设备时，Cisco MDS无此问题Brocade 交换机无法很好处理坏帧，Cisco MDS无此问题Brocade 交换机无法提供恒定的性能，尤其是当出现端口阻塞时. Trunk中有物理链路不稳定时，Brocade 交换机会导致IO Hung。Cisco MDS无此问题,*Data Corruption at Netflix: http:/blog.netflix.com/2008/08/shipping-delay-recap.html,都是架构惹的祸,