磁盘阵列的组成.ppt

磁盘阵列的组成磁盘阵列的组成 参考书：参考书：海量信息存储海量信息存储（第三章、第四章）（第三章、第四章）磁盘阵列的分类磁盘阵列的分类 1.软阵列软阵列：阵列部分的处理功能由主机阵列部分的处理功能由主机（服务器）完成；（服务器）完成；2.硬阵列硬阵列：由专门的硬件来完成阵列的由专门的硬件来完成阵列的功能功能软阵列软阵列特点：特点：可以用磁盘分区组合磁盘阵列，不可以用磁盘分区组合磁盘阵列，不必用整个磁盘来组合；每个磁盘可以必用整个磁盘来组合；每个磁盘可以是不同类型，大小也可以不同。增加是不同类型，大小也可以不同。增加了服务器的处理负载。了服务器的处理负载。Linux软阵列的数据流程软阵列的数据流程文件系统文件系统缓冲区层缓冲区层硬件设备硬件设备设备驱动层设备驱动层阵列驱动层阵列驱动层BioBios流程：流程：(1)(1)文件系统会调用具体的文件读写过文件系统会调用具体的文件读写过程程,将偏移量和文件的起始位置转换为将偏移量和文件的起始位置转换为具体文件系统中的数据块具体文件系统中的数据块,同时将这些同时将这些信息传递给下面的缓冲区层信息传递给下面的缓冲区层.(2)(2)缓冲区层根据数据块的逻辑设备名缓冲区层根据数据块的逻辑设备名和块号和块号,使用使用biobio结构体结构体对它进行包装对它进行包装,形形成一个请求成一个请求(request)request).同时使用同时使用submitbiosubmitbio将将请求挂在该设备请求挂在该设备(blk_devs)blk_devs)的请求队列上的请求队列上,等待设备进行读写工作等待设备进行读写工作.(3)(3)如果读写的设备不是如果读写的设备不是MDMD设备设备,则转向则转向5.5.(Linux Linux 中磁盘阵列以中磁盘阵列以MDMD设备来标识）设备来标识）(4)(4)如果读写的设备是如果读写的设备是MDMD设备设备,则则RAIDRAID驱动程序分析该请求驱动程序分析该请求,进行优化处理进行优化处理,最后将该请求最后将该请求分解分解到对应的磁盘到对应的磁盘,并将并将分解后的请求挂在真正的设备上分解后的请求挂在真正的设备上.如图如图中虚线所示中虚线所示.(5)(5)最后由磁盘驱动程序来完成读写最后由磁盘驱动程序来完成读写过程过程,然后将处理的结果再一层层的向然后将处理的结果再一层层的向上传递到文件系统上传递到文件系统.课后作业课后作业阅读阅读linuxlinux下下MDMD代码，弄清代码，弄清RAID0RAID0，1 1的工作流程的工作流程 硬阵列的组成硬阵列的组成 1.专用的电路板专用的电路板：磁盘阵列卡，磁盘阵列卡，盒式磁盘阵盒式磁盘阵列控制器列控制器（易于嵌入服务器内形成一个整体（易于嵌入服务器内形成一个整体）2.通用板卡集成式磁盘阵列通用板卡集成式磁盘阵列：更新速度快，更新速度快，开发周期短，维修方便，能附加用户特殊要求开发周期短，维修方便，能附加用户特殊要求和性价比高等优点，但存在部分冗余的部件和和性价比高等优点，但存在部分冗余的部件和机箱尺寸稍大等缺点机箱尺寸稍大等缺点集成式磁盘阵列中的关键问题集成式磁盘阵列中的关键问题 1.硬件组成环节的性能平衡；硬件组成环节的性能平衡；2.软件开发平台的选择、裁剪和板支软件开发平台的选择、裁剪和板支持软件的设计持软件的设计;3.系统控制软件的设计系统控制软件的设计;4.完成特定功能的软件设计完成特定功能的软件设计;图图1：硬件结构图：硬件结构图图图2：软件关系图：软件关系图初始化模块初始化模块容错功能模块容错功能模块命令命令分解数据分块分解数据分块重组重组I/O调度模块调度模块Cache-Buffer管理模块管理模块从通道控制模块从通道控制模块主通道控制模块主通道控制模块应用层驱动层启动消息、数据流向软件模块功能说明软件模块功能说明阵列参数设置、初始化模块：阵列参数设置、初始化模块：提供一个浏览、配置阵列参数的人机交提供一个浏览、配置阵列参数的人机交互接口，根据用户的配置设置对阵列控互接口，根据用户的配置设置对阵列控制软件中的相关参数进行初始化，这些制软件中的相关参数进行初始化，这些参数包括阵列级别、数据分块大小、校参数包括阵列级别、数据分块大小、校验存放策略、阵列中的串数及盘数等，验存放策略、阵列中的串数及盘数等，它们是阵列有效容量计算、逻辑地址与它们是阵列有效容量计算、逻辑地址与物理地址相互转换的依据。物理地址相互转换的依据。读命令的执行过程读命令的执行过程阵列处理读命令过程为：阵列处理读命令过程为：接收命令接收命令 命令分解命令分解 读盘读盘数据重组数据重组 数据输入数据输入状态、消息输入状态、消息输入 完成完成（等待下一命令到达）（等待下一命令到达）写命令的执行过程写命令的执行过程阵列处理写命令过程为：阵列处理写命令过程为：接收命令接收命令 接收数据接收数据 命令分解数据分命令分解数据分块块写磁盘写磁盘 状态、消息输入状态、消息输入 完成完成（等待下一命令到达）（等待下一命令到达）从通道控制模块（从通道控制模块（TargetTarget）：）：控制阵列中的从通道适配器完成控制阵列中的从通道适配器完成主机和阵列的消息、命令、数据的主机和阵列的消息、命令、数据的交互；将来自主机的交互；将来自主机的I/OI/O命令按顺序命令按顺序进行排队以等待命令分解模块和其进行排队以等待命令分解模块和其他模块处理。他模块处理。命令分解，数据分块重组模块：命令分解，数据分块重组模块：根据设定的阵列参数，从从通道根据设定的阵列参数，从从通道控制模块生成的命令队列里取出的控制模块生成的命令队列里取出的I/OI/O命令按一定的规则分解为独立磁命令按一定的规则分解为独立磁盘上的子命令，同时将读写数据进盘上的子命令，同时将读写数据进行分块重组。行分块重组。Cache-BufferCache-Buffer管理模块：管理模块：该该模模块块提供了三种可供用提供了三种可供用户户根据根据实际实际应应用的数据用的数据请请求特点求特点进进行行选择选择的的BufferBuffer策略，即写回策略（策略，即写回策略（Write-backWrite-back）、）、写直写直达策略（达策略（Write-throughWrite-through）、）、自适自适应应的的顺顺序序预预取策略。取策略。Cache-BufferCache-Buffer管理模管理模块块的的主要目的是减少主要目的是减少实际实际的磁的磁盘盘I/OI/O次数，达次数，达到快速响到快速响应应用用户户的数据的数据请请求，从求，从软软件上件上最大限度地提供磁最大限度地提供磁盘阵盘阵列的性能。列的性能。I/OI/O调度模块：调度模块：依次扫描各子命令队列，对这些依次扫描各子命令队列，对这些子命令经过子命令经过Cache-BufferCache-Buffer管理模块管理模块过滤后，将需要磁盘操作的子命令过滤后，将需要磁盘操作的子命令按优先级分组，然后按优先级从高按优先级分组，然后按优先级从高到低逐组分派给各主通道控制模块到低逐组分派给各主通道控制模块并行地完成磁盘操作请求。该模块并行地完成磁盘操作请求。该模块是整个阵列控制程序的控制核心，是整个阵列控制程序的控制核心，其他模块几乎都要和它发生交互。其他模块几乎都要和它发生交互。主通道控制模块主通道控制模块(串控制器）：串控制器）：调调度、控制度、控制阵阵列中的串控制器完列中的串控制器完成磁成磁盘盘I/OI/O操作，并且操作，并且负责负责向上向上层层模模块报块报告告I/OI/O完成情况和磁完成情况和磁盘盘状状态态。容错功能模块：容错功能模块：包括数据重构（包括数据重构（ReconstructReconstruct）和磁盘和磁盘数据的重建（数据的重建（RebuildRebuild）修复。前者是指修复。前者是指在阵列运行于有容错功能的级别下单盘在阵列运行于有容错功能的级别下单盘失效时阵列降级运行，利用冗余的校验失效时阵列降级运行，利用冗余的校验信息重新生成失效盘上的数据以响应主信息重新生成失效盘上的数据以响应主机的机的I/OI/O请求；后者指的是在有盘失效的请求；后者指的是在有盘失效的情况下，当系统检测到有新的磁盘被换情况下，当系统检测到有新的磁盘被换上时，系统在后台将失效盘上的数据恢上时，系统在后台将失效盘上的数据恢复到新盘上。复到新盘上。RAID5重构和重建重构和重建校验块校验块接口异构的磁盘阵列原理接口异构的磁盘阵列原理接口异构接口异构：指在结构上磁盘阵列控制指在结构上磁盘阵列控制器与主机的接口和阵列中磁盘驱动器与主机的接口和阵列中磁盘驱动器的接口不是同一种接口，称为异器的接口不是同一种接口，称为异构接口。如构接口。如SCSI-EIDE、USB-SCSI、USB-EIDE、FC-SCSI等。等。例：例：SCSI-EIDESCSI-EIDE阵列阵列CPU阵列阵列Cache阵列控制软件阵列控制软件NCR53C8XXEIDE适配器适配器EIDE适配器适配器(EPROM)PCPC主板主板0mEIDE/ATA总线总线m-12m-1EIDE/ATA总线总线说明：说明：m2SCSI总线总线连接连接主机主机软件：软件：在普通在普通SCSI阵列软件基础上再阵列软件基础上再增加增加命令模拟模块命令模拟模块和和协议转换模协议转换模块块命令模拟模块：命令模拟模块：完成与主机的启动配置通信，使完成与主机的启动配置通信，使主机能够识别阵列，读取正确的阵主机能够识别阵列，读取正确的阵列参数，完成列参数，完成IDE协议不能对应的协议不能对应的SCSI命令。该模块负责完成的命令。该模块负责完成的SCSI命令包括命令包括:Inquiry、Test Unit Ready、Verify、Read Capacity、Mode Sense等。等。协议转换模块：协议转换模块：完成从完成从SCSI命令到对应的命令到对应的EIDE命命令的转换。如读写命令。令的转换。如读写命令。网络磁盘阵列简介网络磁盘阵列简介在在传传统统的的服服务务器器系系统统中中，当当客客户户机机需需下下载载服服务务器器上上的的文文件件时时，由由客客户户机机向向服服务务器器发发出出请请求求。响响应应后后，通通过过文文件件系系统统和和I/O系系统统，调调用用设设备备驱驱动动程程序序对对磁磁盘盘驱驱动动器器进进行行读读操操作作。读读得得的的数数据据经经由由原原路路进进入入客客户户机机，此此次次服服务务便便告告结结束束。这这种种服服务务器器/客客户户机机工工作模式，存在两个显著的缺点：作模式，存在两个显著的缺点：一是命令和数据都要经过同一一是命令和数据都要经过同一I/O路路径。当有多个用户请求时，容易造成径。当有多个用户请求时，容易造成阻塞，即使单个用户也延长了服务等阻塞，即使单个用户也延长了服务等待时间；待时间；二二是是在在数数据据读读取取和和传传输输过过程程中中，即即使使采采取取DMA方方式式，也也需需经经历历多多次次存存储储转转发发，增增加加了了系系统统开开销销，降降低低了了数数传传率。率。传统服务器系统示意图传统服务器系统示意图瓶颈瓶颈网络磁盘阵列设备示意图网络磁盘阵列设备示意图网络通道外设通道网络磁盘阵列说明网络磁盘阵列说明:网络磁盘阵列和与之相连的服务器网络磁盘阵列和与之相连的服务器构成网络磁盘阵列系统；构成网络磁盘阵列系统；系统的连接方式与传统的服务器系统的连接方式与传统的服务器存储设备连接方式不同，它在磁盘阵存储设备连接方式不同，它在磁盘阵列端增加网络通道直接入网，即磁盘列端增加网络通道直接入网，即磁盘阵列具有异构双通道阵列具有异构双通道外设通道与外设通道与网络通道。网络通道。用户读取文件的过程用户读取文件的过程客户机向文件服务器发出读文件请求；客户机向文件服务器发出读文件请求；服服务务器器确确认认请请求求的的合合法法性性和和权权限限，经经分分析析截截取取文文件件的的位位置和存储地址组的信息；置和存储地址组的信息；服务器向网络磁盘阵列发出用户授权；服务器向网络磁盘阵列发出用户授权；网络磁盘阵列启动读进程，等待客户机请求到来；网络磁盘阵列启动读进程，等待客户机请求到来；服服务务器器向向客客户户机机发发出出确确认认字字、授授权权字字、磁磁盘盘阵阵列列的的网网络络地址和数据存储地址组；地址和数据存储地址组；建立客户机与磁盘阵列的连接并从磁盘阵列上读得数据；建立客户机与磁盘阵列的连接并从磁盘阵列上读得数据；客户机向服务器和磁盘阵列发出结束请求的信号；客户机向服务器和磁盘阵列发出结束请求的信号；磁盘阵列向服务器发出结束信号；磁盘阵列向服务器发出结束信号；读出过程结束。读出过程结束。网络磁盘阵列工作原理网络磁盘阵列工作原理网络网络网卡网卡网网络络存存储储设设备备网卡网卡网网络络存存储储设设备备外设通道外设通道主机通道主机通道适配器适配器PCI总线总线系系统统总总线线处理器处理器存储器存储器网卡网卡客户机客户机1客户机客户机2客户机客户机4客户机客户机3请求应答网络磁盘阵列的特点网络磁盘阵列的特点1.1.命令与数据的分流：命令与数据的分流：外设通道用于传输命令，网络通道外设通道用于传输命令，网络通道用于向用户传输数据。服务器只用于用于向用户传输数据。服务器只用于命令的响应和处理，缩短了服务等待命令的响应和处理，缩短了服务等待时间；数据不经过服务器直接到达用时间；数据不经过服务器直接到达用户，缩短了户，缩短了I/O路径，减少了存储转发，路径，减少了存储转发，提高了平均数传率。提高了平均数传率。网络磁盘阵列的特点网络磁盘阵列的特点2.2.扩容与增速同步：扩容与增速同步：在一个系统中每增加一台磁盘阵列在一个系统中每增加一台磁盘阵列便增加了一条网络通道，这样在增加便增加了一条网络通道，这样在增加容量的同时，同步增加数据接口带宽。容量的同时，同步增加数据接口带宽。（利用这一优点可以构建（利用这一优点可以构建10100T容量的容量的海量存储系统）海量存储系统）网络磁盘阵列的特点网络磁盘阵列的特点3.3.通信与传输自主：通信与传输自主：数据传输过程不需服务器干预，增数据传输过程不需服务器干预，增加了独立性和自主性。加了独立性和自主性。网络磁盘阵列的特点网络磁盘阵列的特点4.4.文件的集中管理与数据的分布存储：文件的集中管理与数据的分布存储：服务器负责文件管理功能，数据可服务器负责文件管理功能，数据可以分布存放在一个或多个阵列上。以分布存放在一个或多个阵列上。70s 80s 90s 00s 10s软软件件结结构构磁盘阵列控制软件实例磁盘阵列控制软件实例软软件件模模块块功功能能千兆网卡驱动，iSCSI协议引擎SATA控制器驱动硬件设备无关磁盘阵列控制软件实例磁盘阵列控制软件实例70s 80s 90s 00s 10s软软件件模模块块功功能能iSCSI Target设备无关功能实现SCSI命令过滤；非读/写实现；Cache管理、调度RAID数据布局分布子I/O的分解与聚合磁盘阵列控制软件实例磁盘阵列控制软件实例70s 80s 90s 00s 10s软软件件模模块块功功能能解析配置文件执行配置命令记录操作日志记录系统状态变化日志实现用户的日志操作接收解释控制程序的状态报告接受其他硬件监控程序的状态报告向用户报告系统状态信息磁盘阵列控制软件实例磁盘阵列控制软件实例End！