HCIA-Storage:第四章存储系统结构

矫情吗；* 2021-12-22 01:49 254阅读 0赞

#### 1.存储系统架构 ####

![1409210-20190610133116104-1812434439.png][]

备注：写入数据在双控CACHE中各保存一份，避免单控故障导致数据丢失。

每个控制板的后端分别接入物理磁盘的环路——业务负载均衡，提升整体系统性能。

将多个LUN的负载或者同一个LUN的负载均衡在两个控制器上，避免性能瓶颈。

一控制器故障时，另一控制器在主机多路径软件配合下接管业务负载，确保不中断。

![1409210-20190610133309172-1770881461.png][]

![1409210-20190610133732881-2114419105.png][]

![1409210-20190610133920206-1690524792.png][]

网格存储被业内称为革命性的新一代存储架构，它是采用了大规模并行的分布式网格 存储技术，使用了“Scale out”(横向扩展)的存储架构，利用多路网格模块并行分担存储 负荷，并通过细粒度数据分布算法保证数据的恒定均衡分布，它不但提高了系统的可 靠性、可用性和存取效率，还易于扩展。

在网格存储系统里面，没有任何主控的模块，系统由一个个的网格组成的。每个网格 叫数据模块，每个独立的数据模块包括紧耦合的CPU处理能力，缓存能力加上磁盘存储 能力。

网格存储系统的主要部分被称为modules（模块）。模块提供处理单元、缓存、主机接 口和基于标准的英特尔和Linux系统。它们通过内部的冗余的以太网交换机实现冗余连 接。所有模块在一起形成一个网格体系结构的工作模式，因此，该系统可以基于本身 具有的并行方式及其强大计算能力，适用于很多的整合、混合计算环境。

从根本上说，接口模块其实和数据模块的结构基本相同，但是承担的功能略有不同： 接口模块除承担数据模块的同等功能外，还包括FC接口和iSCSI接口的主机系统连接以 及远程镜像的连接支持。在概念层面上，模块（Module）是系统架构的基本元素，提 供物理容量空间、处理能力和缓存，各数据模块间的关系是平等的、无主次之分。  网格体系架构利用“伪随机”的分布式方式，通过独特的算法，能够把一个特定的工 作任务是进行战略性的分离，使总的工作量分布在更多个模块上，系统的整体性能会 通过增加更多的模块进一步提升。

网格存储系统包含一个冗余的交换以太网络结构，负责进行数据之间的通信模块。包 括两个接口模块之间的数据交换；接口模块和数据模块之间的数据交换；以及两个数 据模块之间的数据交换。

![1409210-20190610134106720-2044451503.png][]

统一命名空间，全局共享

高性能，多台阵列并发I/O

在线扩容

![1409210-20190610134154952-390498512.png][]

支持上百亿文件存储  统一命名空间，全局共享

高性能，多个对象存储节点并发I/O，提供上几十GB聚合I/O  在线扩容

自动负载均衡

低成本：X86服务

![1409210-20190610134304643-119402536.png][]

支持EB级文件存储

统一命名空间，全局共享  在线扩容

低成本：X86服务器

![1409210-20190610134435073-1070430340.png][]

支持上百亿文件存储

统一命名空间，全局共享  高性能，多个对象存储节点并发I/O，提供上几十GB聚合I/O

在线扩容

低成本：X86服务

![1409210-20190610134716409-251632643.png][]

控制器是阵列的“大脑”，主要部件为处理器和缓存，最先主要实现简单IO操作、 RAID管理功能，随着技术发展，能够提供各种各样的数据管理功能，如快照、镜像、 复制

![1409210-20190610134750075-1975799735.png][]

![1409210-20190610134908049-519782770.png][]

![1409210-20190610134944621-1411981557.png][]

![1409210-20190610135028558-717991514.png][]

#### 2.硬盘的类型 ####

![1409210-20190610135158919-1279897831.png][]

![1409210-20190610142211744-2099232174.png][]

#### 磁盘数据的读写流程： ####

1.磁盘使用一个快速移动的读/写磁头臂带动磁头，从一个涂了磁性颗粒的扁平盘片上读写数据。数据从磁盘盘片上通过读写磁头向计算机传送。硬盘（HDD）就是由几个盘片、读写磁头、控制电路、主轴等组合在一起的机械部件。磁盘盘片上的磁性颗粒可提供无限次的数据记录和擦除。本节我们将详细介绍磁盘的接口，磁盘上组织和存储数据的机制，并讨论影响磁盘性能的因素。  
2.一个典型的磁盘包含了一个或多个称为盘片的扁平圆盘。数据以二进制代码（0和1）的形式被记录在这些盘片上。这些盘片是刚硬的，两个表面上都涂覆有磁性材料（上下表面）。数据可被写入到或从该盘片的两个表面（上下表面）读取。盘片的数目和每个盘片的存储容量确定了磁盘的总容量。  
3.如该图所示，主轴连接所有盘片，并连接到一个马达上。主轴电机以恒定的速度旋转。盘片转速以每分钟圈速（rpm）来衡量，常见的磁盘具有7200转、10000转或15000转的转速。目前的存储系统中使用的磁盘有直径为3.5寸（90毫米）的盘片。当盘片旋转在15000rpm时，盘片外边缘的移动可达到音速的25％左右。因此，随着技术的提高，随着盘片的转动速度有所增加，但是它能够改善的程度是有限的。  
4.读/写磁头负责向盘片写入或者从盘片读取数据。磁盘的每个盘片都有两个读写磁头，分别用于盘片的两个表面的数据的读写。当读/写磁头写入数据时，通过改变盘片上磁粒子的磁极来记录数据。读取数据时，读/写磁头通过检测盘片上磁粒子的磁极来读取数据。在读取和写入数据时，读/写磁头不用接触盘片表面就可以感应磁粒子的磁极。当主轴旋转时，读写W磁头和盘片之间有一个很微小的空气间隙，被称为磁头飞行高度。当主轴停止转动时，读/写磁头将停靠在盘片在主轴附近的一个特殊区域，此时，这个空气间隙被除去。磁头停放的这个区域被称为着陆区域。着陆区域涂有润滑剂，以减小头部和盘片之间的摩擦。磁盘逻辑会确保磁头在移动到着陆区之前不会接触盘片的表面。如果驱动器故障或者读/写磁头不慎接触到着陆区外的盘片表面，就会发生磁头碰撞。如果发生了磁头碰撞，盘片上的磁性涂层将会被刮伤，也可能会损坏读写头。磁头碰撞通常会导致数据丢失。  
5.读/写磁头被安装在磁头臂的顶端，磁头臂会带动磁头移动到需要被写入或读出的数据的盘片位置上方。  
6.控制电路是一个印刷电路板，安装在磁盘的底部。它由一个微处理器、内部存储器、电路和固件组成。由固件控制向主轴马达供电并控制主轴电机的速度。它还管理着磁盘与主机之间的通信。此外，它通过移动磁头臂控制不同的读/写磁头之间的切换，以获得数据的访问的最优化。

### 所有机械硬盘的原理相同 ###

盘片被磁性材料覆盖，盘片上的磁性粒子被极化以表示一 个二进制信息单元（或比特）。

读/写磁头：负责读和写数据：  磁头臂：带动读/写磁头，将磁头移动到指定位置

盘片：保存写入的数据

主轴：转动盘片，将盘片上的指定位置移动到读/写磁头

控制电路：控制硬盘的速度，磁头臂的移动，向磁头下发命令等

IOPS ：是IO系统每秒所执行IO操作的次数，是一个重要的用来衡量系统IO能力的参数

IOtime=寻道时间+旋转时延+传输时延 = 寻道时间+60s/转速/2+IOchunksize/传输速度  （单位：秒）

IOPS=1/IOtime=1/(寻道时间+60s/转速/2+IOchunksize/传输速度)

1.  通常，数据的价值由老板决
2.  RPO（Recovery Point Objective）恢复点目标.
3.  当灾难或紧急事件发生后，数据可以恢复到的过去的一个事件点.
4.  RTO（Restore Time Objective）恢复时间点目标.
5.  宕机发生后，恢复到系统正常运行所需的时间.
6.  COD（Cost Of Downtime）停机成本.
7.  业务中断期间，每小时的成本.

![1409210-20190610142818491-522607803.png][]

FC HBA卡：一般也叫光纤网卡。传输协议为光纤通道协议，一般通过光纤线缆与光纤 通道交换机连接

iSCSI HBA卡：传输iSCSI协议，接口类型与以太网卡相同。将硬件iSCSI initiator集成到 板卡上，利用 TCP/IP卸载引擎在适配卡上完成数据处理，作用在于减轻主机CPU负载， 也提供了高可用环境下硬件多通道功能和服务器远程引导功。

### 3.硬盘常用接口 ###

#### 3.1.硬盘常用接口-ATA接口 ####

ATA：Advanced  Technology  Attachment，高级技术附加装置。  
ATA硬盘也经常称为IDE（Integrated Drive Electronics）硬盘。  
ATA接口使用并行ATA技术

![1409210-20190610150528227-966342988.png][]

ATA全称是Advanced Technology Attachment，采用传统40-Pin并口数据线连接主板与硬盘，外部接口速度最大为133MB/s，由于并口数据线的抗干扰能力差，且排线占空间，不利计算机散热，ATA逐渐被串口ATA所取代。  
ATA接口发展到今，细分可以分成ATA-1（IDE）、ATA-2（EIDE Enhanced IDE/Fast ATA）、ATA-3（FastATA-2）、Ultra ATA、Ultra ATA/33、Ultra ATA/66、Ultra ATA/100及Serial ATA。ATA发展到ATA100已经到了尽头，转向SATA。  
ATA接口具有以下优缺点（重点）：  
优点： 价格低廉、兼容性非常好；  
缺点： 速度慢、只能内置使用、对接口电缆的长度有很严格的限制 。

#### 3.2.硬盘常用接口-SATA接口 ####

SATA：Serial Advanced Technology Attachment.  
SATA接口使用串行ATA技术，用串行方式进行数据传输。  
SATA硬盘采用点对点连接方式，支持热插拔，即插即用。

![1409210-20190610150554951-723799383.png][]

SATA全称是Serial Advanced Technology Attachment，也就是使用串口的ATA接口，因抗干扰性强，且传输线比ATA的细得多，支持热插拔等功能，已被广为接受。SATA-I的外部接口速度已达到150MB/s，SATA-II达到300MB/s，SATA-III将达到600MB/s。

SATA：Serial ATA (Serial ATA) 串行ATA

SATA采用串行方式进行数据传输，接口速率比IDE接口高，最低为150MBps，并且第二代（SATAⅡ ）300MBps接口硬盘已经形成商用，规划内的最高速率可达600MBps。  
SATA硬盘采用点对点连接方式，支持热插拔，即插即用。

#### 3.3.硬盘常用接口-SCSI接口 ####

SCSI ：Small Computer System Interface )，小型计算机系统接口。  
SCSI接口使用并行SCSI技术。  
SCSI接口适应面广、高性能、支持热插拔。

![1409210-20190610150824679-574906405.png][]

SCSI全称为Small Computer System Interface，历经3代的发展，从SCSI-1、SCSI-2到SCSI-3。工作站级个人计算机及服务器通常采用SCSI硬盘，原因在于SCSI硬盘支持高转速（如，15000RPM），且数据传输时占用较少CPU资源。SCSI硬盘的单价比ATA/SATA硬盘贵。

优点（重点）：  
适应面广，在一块SCSI控制卡上就可以同时挂接15个设备 ；  
高性能（具有多任务、宽带宽及CPU占用率低等特点）；  
具有外置和内置两种 ，支持热插拔。  
缺点：  
价格昂贵，安装复杂。

#### 3.4.硬盘常用接口-SAS接口 ####

SAS：Serial Attached SCSI， 串行连接SCSI。  
点对点、全双工、双端口；  
高性能、高可靠性、强大的扩展性能；  
灵活性强、成本低。

![1409210-20190610151113287-1551987139.png][]

SAS全称是Serial Attached SCSI，是新一代的SCSI技术，它使用串口的SCSI接口，其传输速度，可达到12Gb/s。  
SAS(Serial Attached SCSI) 串行连接SCSI （重点）：  
SAS是一种点对点、全双工、双端口的接口；  
SAS专为满足高性能企业需求而设计，实现与SATA的互操作，为企业用户带来前所未有的灵活性和低成本；  
速率每路600M；  
SAS具有高性能、高可靠性、强大的扩展性能。  
SAS可以向下兼容SATA，同样采用串行技术，在传输速率、抗干扰性方面强于SCSI，SAS接口硬盘价格相对更高。

#### SAS特点： ####

串行通信方式，允许多个数据通路全速与各个设备通信；  
支持多个窄端口捆绑形成宽端口；  
具有非常好的扩展能力，可以采用扩展器（expander）进行接口扩展；

![1409210-20190610151401178-2036682860.png][]

SAS相对SCSI而言，最重要的提升在于：  
因为采用串行通信方式，可以提供更高的吞吐量，并为将来更高的性能奠定基础；  
四个窄端口可以绑定成一个宽端口（Wide Link），提供更高的吞吐量；  
SAS采用全双工（双向）通信模式，而不是单向通信。传统的并行SCSI只可以在一个方向上进行通信，当设备接收到并行SCSI的一个数据包后，如果该设备要响应该数据包，就需要在上一个链路断开后，再重新建立一个新的SCSI通信链路。而使用SAS，则可以进行双向通信。每个SAS电缆有4根电缆，2根输入2根输出。SAS可以同时进行数据的读写，全双工的数据操作提高数据的吞吐效率。

#### SAS的可扩展性 ####

SAS结构采用扩展器（expander）进行接口扩展，具有非常好的扩展能力

![1409210-20190610151618315-1337457093.png][]

SAS结构采用扩展器进行接口扩展，具有非常好的扩展能力（重点）。  
SAS Expander：SAS域中的互联设备，类似于以太网交换机，通过Expander的级联可以大大增加终端设备的连接数，从而节约HBA花费。每个Expander最多可以连接128个终端设备或者128个Expander。

1个SAS域由以下几个部分组成：SAS Expander、终端设备、连接设备（即SAS连接线缆）。  
SAS Expander配备了一个地址的路由表跟踪，记录了所有SAS驱动器的地址。  
终端设备包括启动器（通常为SAS HBA卡）和目标器（SAS/SATA硬盘，也可以是处于目标模式的HBA卡）。  
SAS 域中不能形成环路，以保证其发现终端设备流程的正常进行。  
实际使用中，因为带宽的原因，扩展器连接的终端设备比128个少很多。

#### 3.5.硬盘常用接口-NL SAS ####

NL SAS 采用SAS接口、SATA 盘体，也叫近线SAS。  
在线存储(OnStore)：存储设备和所存储的数据时刻保持“在线”状态。  
离线存储(OffStore)：大多数情况下主要用于对在线存储的数据进行备份。

![1409210-20190610151808433-527986841.png][]

NL SAS 是指采用了SAS接口和SATA盘体的综合体。即具有SAS接口、接近SAS性能的SATA盘。  
NL：Near Line，近线。所谓的近线存储，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。  
近线存储对性能要求相对来说并不高，但又要求具备相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的比较大的比重，这也就要求近线存储设备需要容量相对较大。  
在线存储(OnStore)（重点）：是工作级的存储，在线存储的最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。  
离线存储(OffStore)（重点）：主要使用光盘或磁带存储。大多数情况下主要用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储。

#### SAS、NL-SAS与SATA的应用比较 ####

![1409210-20190610151938378-509631613.png][]

#### 3.6.硬盘常用接口-FC接口 ####

FC硬盘采用FC-AL( Fiber Channel Arbitrated Loop）光纤通道仲裁环。  
FC-AL是一种双端口的串行存储接口，FC-AL支持全双工工作方式。

![1409210-20190610152046148-316195998.png][]

FC硬盘定位于高端存储应用，可靠性和性能高，FC硬盘一般都同时提供两个FC接口，可同时使用或互为备份。  
优点（重点）：  
具有很好的升级性 ，可以用非常长的光纤，可超过10公里；  
具有非常高的带宽；  
具有很强的通用性 。  
缺点：  
价格非常昂贵；  
组件复杂。

#### 3.6.固态硬盘 ####

Solid State Disk，SSD，是一种以固态电子存储芯片作为永久性存储器的存储设备。无高速旋转部件，性能高、功耗低。  
多通道并发，通道内Flash颗粒复用时序；  
支持TCQ/NCQ，一次响应多个IO请求。

![1409210-20190610152402696-102876736.png][]

SSD原理 ：

1. 使用Flash技术存储信息

2. 内部没有机械结构，因此耗电量更小、散热小、几乎没有噪音

3. 但是，基于SSD的使用频率，SSD的寿命有限、读写次数有限

SSD的3种主要类型：

1. SLC（Single Level Cell），单层次存储单元；每个存储单元cell只存1bit数据，0或1

2. MLC（Multi Level Cell） ，多层次存储单元；每个存储单元可存2bit数据，00,01,10,11

3. TLC（Triple Level Cell），三层次存储单元；每个存储单元可存3bit数据，000,001......

### SSD性能优势： ###

1. 响应时间短

2. 读写效率高

SSD在存储中的应用：

● A级应用：以高并发随机读写为主，如数据库应用

● B级应用：顺序读写的大容量文件，图片，流媒体等

● C级应用：以备份数据为主，或极少使用的数据

转载于:https://www.cnblogs.com/SmallandGig/p/10997960.html

[1409210-20190610133116104-1812434439.png]: /images/20211220/fd389e743857417384ea6bf064ff359c.png
[1409210-20190610133309172-1770881461.png]: /images/20211220/4f3c14faf9914fd18b4433bd3bb963d7.png
[1409210-20190610133732881-2114419105.png]: /images/20211220/6cf1fa33c8af4d938bbde7af25d625c2.png
[1409210-20190610133920206-1690524792.png]: /images/20211220/93a448a769374f19a43ddf48f0fad233.png
[1409210-20190610134106720-2044451503.png]: /images/20211220/93e916745b65413089f868aee5c950cd.png
[1409210-20190610134154952-390498512.png]: /images/20211220/34265c4e303247cb99010396b06252c1.png
[1409210-20190610134304643-119402536.png]: /images/20211220/6e219c20e6ea4c3584cd97b1c51e8e1e.png
[1409210-20190610134435073-1070430340.png]: /images/20211220/88cc55b280ad4ac48064dac0e9ed9d40.png
[1409210-20190610134716409-251632643.png]: /images/20211220/2694fab0c2f64b6d88076d16eb0a8f2b.png
[1409210-20190610134750075-1975799735.png]: /images/20211220/e85a61301ad641c290331d77ecde217b.png
[1409210-20190610134908049-519782770.png]: /images/20211220/0f3941edf04a4f6a97fbbf635731adb9.png
[1409210-20190610134944621-1411981557.png]: /images/20211220/9db06fb5d67a432985e08829311672f3.png
[1409210-20190610135028558-717991514.png]: /images/20211220/91ed91dcd6b84244bad624cbeeab8add.png
[1409210-20190610135158919-1279897831.png]: /images/20211220/22c9183b28c34c24b44d548cf92b95a8.png
[1409210-20190610142211744-2099232174.png]: /images/20211220/9929f26828d641a8a34136a7e1de7380.png
[1409210-20190610142818491-522607803.png]: /images/20211220/71bffeb2d5af4acdad713e25acdea90a.png
[1409210-20190610150528227-966342988.png]: /images/20211220/9a4a9cc41e3f4f39b364019c5f11f9f2.png
[1409210-20190610150554951-723799383.png]: /images/20211220/eeabbc8e6e244a8ca2f558d1ac813319.png
[1409210-20190610150824679-574906405.png]: /images/20211220/f37bcee77fdc4d099f21c239e47e015f.png
[1409210-20190610151113287-1551987139.png]: /images/20211220/6db2db3e2b6f43d4a956e51be334c26a.png
[1409210-20190610151401178-2036682860.png]: /images/20211220/0b47a5f5ca3d46e191c9a331dd31c54c.png
[1409210-20190610151618315-1337457093.png]: /images/20211220/123b7282e66a41c7a90a6b9999ca6bd7.png
[1409210-20190610151808433-527986841.png]: /images/20211220/513e2dd22ffe4bac959ca213b910c51e.png
[1409210-20190610151938378-509631613.png]: /images/20211220/652a229058a547e7bd2a7a3aa5e61f4f.png
[1409210-20190610152046148-316195998.png]: /images/20211220/0ba4353e96604a159e7ad8b246bd4476.png
[1409210-20190610152402696-102876736.png]: /images/20211220/f8b3d9db32a6461da096c13c6439aac1.png