Linux集群存储相关概念简介

雨点打透心脏的1/2处 2022-09-10 14:29 246阅读 0赞

# 存储分类 #

*  计算机存储分为内部存储和外部存储
 *  我们这里讨论的是外部存储的相关知识概念

## 按连接方式分类 ##

*  通常，我们将外部存储按照连接方式分为三种

### 直连式存储： ###

*  Direct-Attached Storage，简称DAS
 *  服务器通过光纤，ISCSI等高速连接到存储系统上

### 存储区域网络： ###

*  Storage Area Network，简称SAN
 *  存储连接到光纤交换机上，服务器也连接到光纤交换机上，通过IB交换机连接（非普通二层网络交换机）
 *  使用Infiniband组网，采用虚通道(VL即Virtual Lanes)方式来实现QoS
 *  专用网络，只有添加在专用网络中的设备才能挂载

相比TCP/IP网络协议，IB使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失，接受方在数据传输完毕之后，返回信号来标示缓存空间的可用性，所以IB协议消除了由于原数据包丢失而带来的重发延迟，从而提升了效率和整体性能。

早期的SAN存储系统多数由FC光纤交换机连接存储设备和应用服务器，导致很多用户误以为SAN就是光纤通道设备，只能采用FC协议。
    其实SAN代表的是一种专用于存储的网络架构，与协议和设备类型无关，随着千兆以太网的普及和万兆以太网的实现，SAN又分为FC SAN和IP SAN。

#### SAN 协议 ####

*  光纤通道协议 (FCP)
 *  Internet 小型计算机系统接口 (iSCSI)
 *  以太网光纤通道 (FCoE)
 *  基于光纤通道的非易失性内存标准 (FC-NVMe)

### 网络附加存储： ###

*  Network-Attached Storage，简称NAS
 *  存储服以服务器的形式存在，连接到TCP/IP网络上，
 *  传统网络，只要能通过ip访问的设备，都可以挂载NAS

#### NAS 协议 ####

*  公共 Internet 文件服务/服务器消息块 (Common Internet File Services / Server Message Block, CIFS/SMB)。这是 Windows 通常使用的协议。
 *  网络文件系统 (NFS)。NFS 最早为 UNIX 服务器而开发，也是通用的 Linux 协议。

### SAN和NAS的区别 ###

*  NAS有文件操作和管理系统，SAN没有。
 *  NAS可以控制不同用户存取不同文件的权限，SAN不能。
 *  NAS支持配额控制，SAN不支持。
 *  SAN主要是高速信息存储，NAS偏重文件共享。
 *  SAN是只能独享的数据存储池，NAS是共享与独享兼顾的数据存储池。
 *  SAN高效可扩，NAS简单灵活。

### 三种存储比较 ###

<table> 
 <thead> 
  <tr> 
   <th>存储</th> 
   <th>DAS</th> 
   <th>SAN</th> 
   <th>NAS</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>连接方式</td> 
   <td>直连</td> 
   <td>专网连</td> 
   <td>网联</td> 
  </tr> 
  <tr> 
   <td>传输类型</td> 
   <td>SCSI，FC</td> 
   <td>FC,SAS</td> 
   <td>IP</td> 
  </tr> 
  <tr> 
   <td>数据类型</td> 
   <td>块</td> 
   <td>块</td> 
   <td>文件系统</td> 
  </tr> 
  <tr> 
   <td>应用场景</td> 
   <td>独享数据存储，高速计算</td> 
   <td>分池共享存储，高速计算</td> 
   <td>共享文件，读多写少</td> 
  </tr> 
  <tr> 
   <td>优势</td> 
   <td>独享速度快</td> 
   <td>速度快，服务器和存储可分散部署</td> 
   <td>易用性强，部署连接方便</td> 
  </tr> 
  <tr> 
   <td>劣势</td> 
   <td>不能共享</td> 
   <td>必须接入专用网络才能共享</td> 
   <td>写性能和安全性较差啊</td> 
  </tr> 
 </tbody> 
</table>

## 按存储挂载方式分类 ##

*  通常我们使用存储，需要连接到存储服务器并将其挂载，还可以直接调用API端口访问数据
 *  按照存储的使用方式分成一下三类

### 块设备： ###

*  一般体现形式是卷或者硬盘，主要操作对象是磁盘，将裸磁盘空间整个映射给主机使用。
 *  在此种方式下操作系统需要对挂载的裸硬盘进行分区、格式化后，才能使用。块存储无法进行文件共享。

### 文件存储： ###

*  一般体现形式是目录和文件，数据以文件的方式存储和访问，按照目录结构进行组织。
 *  此种方式也需要挂载，挂载后为一个目录，可直接存取其中的文件；不需要格式化。

### 对象存储： ###

*  主要操作对象是对象Object，本质上是键值对存储系统，不需要挂载，直接通过应用接口访问。
 *  程序中直接写好需求的KV，通过json传输请求到对象存储，调用接口API进行数据访问。

## 集群存储 ##

### 存储阵列 ###

*  块挂载通用性高，性能强劲
 *  扩展性和数据共享功能较集群NAS差
 *  EMC VNX
 *  华为 5000
 *  宏杉 MS5000

### SAN共享 ###

*  Intel Lustre
 *  IBM SONAS （GPFS）
 *  DDN
 *  蓝鲸BWFS
 *  昆腾StorNext SNFS
 *  HDS HNAS （BlueArc）

### 集群NAS ###

*  使用方便，联网即用，，扩展性强
 *  对块协议支持，但性能差强人意
 *  NetApp FAS
 *  EMC Lsilon
 *  IBM GPFS
 *  华为9000

## 软件定义分布式存储 ##

*  采用分布式存储系统后，服务器之间的数据访问不再是一对多的关系（1个NFS服务器，多个NFS客户端），
 *  每个存储节点都可以成为访问节点，同时接受访问请求，用户和存储变为多对多的关系，性能大幅提升毫无问题。  
    ![分布式存储逻辑架构][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA55m9LeiDli3lrZA_size_20_color_FFFFFF_t_70_g_se_x_16]

### 商业分布式 ###

*  Panasas ActiveStor
 *  EMC/VMWare ScalelO
 *  NetApp FAS
 *  IBM XIV
 *  华为Fusion Storage
 *  中科曙光ParaStor 300
 *  浪潮AS13000 （Ceph）
 *  联想LeoStor（LoongStore）
 *  龙存LoongStore
 *  云创大数据cStor

### 开源分布式 ###

*  Ceph（块、文件、对象）
 *  FastDFS（对象）
 *  GlusterFS（文件）
 *  HDFS（对象） Hadoop JAVA
 *  MFS （文件） Moosefs C++
 *  Lustre（块）
 *  Swift（对象）

![传统SAN和分布式存储的区别][SAN]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA55m9LeiDli3lrZA_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/d7eaa4e3c5824d1096727a09e6ac1ed5.png
[SAN]: /images/20220829/363d76db3454412c8d1c7c0896322b4a.png