深入串讲数据备份技术

末蓝、 2021-08-30 15:12 304阅读 0赞

一个执着于技术的公众号

## 前言 ##

关于备份，今天主要以跑马灯的形式来分享一下备份软件的基础知识；通过分析多种备份技术优劣势，以便对备份知识加以巩固！

## 备份的发展 ##

备份是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。在存储备份技术的发展过程中，衍生了下面几种主流的组网方式，包括**Host**、**LAN**、**LAN-free**、**Server-free**和**Server-less**

### 1.Host备份方式 ###

最原始的备份技术，是在生产服务器上将备份数据直接拷贝至备份介质中，称之为Host备份方式。

> **点评:** Host备份类似将C盘数据备份到D盘，该组网优点是数据传输速度快，备份管理简单；缺点是不利于备份系统的共享，不适合于现在大型的数据备份要求。

### 2.LAN备份方式 ###

紧随其后出现的是LAN备份方式。在这种备份组网中，所有生产系统都需要安装备份客户端，并和备份服务器通过网络连接。备份服务器（也是主控服务器）控制整个系统的备份，数据备份时负责将数据通过网络传输到备份介质中。

![format_png][]

> 点评: LAN备份组网解决了Host备份方式中的备份系统共享的问题，但是它对网络传输资源和备份服务器的资源依赖大，容易发生堵塞。

### 3.LAN-free备份方式 ###

针对这种情况，衍生出第三种组网：LAN-free备份组网。在LAN-free备份组网中，生产系统安装有相关的备份客户端（负责与备份服务器通信）和备份介质管理软件（负责管理和使用备份介质）。备份时，备份服务器（主控服务器）只需要发送指令给生产系统，生产系统就会自动将相关的数据传输至备份介质中。

![format_png 1][]

> 点评: 相比于LAN备份，LAN-free备份彻底解放了网络资源，对备份服务器的压力也有所降低，但是对生产系统的压力依旧比较大。如果数据能够不通过生产系统就直接传递到备份介质上，LAN-free的问题不就可以解决了吗？Server-free备份就是在这种情况下应运而出的。

### 4.Server-free备份方式 ###

使用Server-free备份方式时，一般会结合阵列的快照功能一起使用。备份的时候，先创建该时间点下生产数据的快照并将其映射给备份服务器，然后由备份服务器将该快照挂载起来，最后将快照数据拷贝至备份介质。由于快照创建的时间非常短，所以这种组网下，备份窗口基本为零，对生产系统没有任何压力，所以称为Server-free备份。

![format_png 2][]

> 点评: 前面的几种备份方式中，都有一个共性，就是都会占用生产服务器或者备份服务器的资源。那么有没有一种技术，能否彻底解放服务器资源呢？这就是Server-less备份方式。

### 5.Server-less备份方式 ###

在Server-less备份模式下，数据在源存储介质和备份介质之间直接传输，通常是存储系统和磁带库之间。备份过程中，服务器只需要下发相应的命令给源存储介质即可，不需要再缓存数据，可以明显的降低对资源的占用。而且，由于存储系统的资源配置一般都要高于服务器的资源配置，这种备份方式下的性能很高。

![format_png 3][]

Server-less备份通常有2种实现方式。借助**SCSI-3**命令的实现方式，Extend Copy实现自动将存储备份到磁带中。借助**NDMP**实现方式，备份过程中，通过该协议把命令从服务器传递给NAS存储设备，NAS存储设备自动将数据传递给备份介质。

> 点评: 借助SCSI-3命令的实现方式下，对存储设备要求高，兼容性较差，而且由于其只能实现卷或者磁盘一级的备份和恢复，颗粒度太大，不够灵活和使用，实际使用较少。NDMP则是基于TCP/IP的行业标准协议，专为NAS环境中的备份而设计，是业界非常流行的一种备份实现方式，后面我们会有专题介绍该种备份技术。

## 主流备份软件介绍 ##

> EMC和Symantec针对不同的应用场景均提供多款备份软件：

EMC的备份软件主要是**NetWorker**和**Avamar**，前者是一个纯软件，后者提供一体机和独立软件(Avamar Virtual Edition)两种方式。

Symantec的备份软件主要是**NetBackup**和**Backup Exec**，均为纯软件。

> Commvault和IBM都只提供了一款备份软件：

分别是**Simpana**和**Tivoli Storage Manager**（现更名为IBM Spectrum Protect），同样都是纯软件方式。

![format_png 4][]

### EMC备份软件 ###

#### 1、NetWorker ####

NetWorker源于Legato公司。2003年EMC收购NetWorker后，马上毫不犹豫地腰斩了自己原有的备份产品：EDM（EMC Data Manager），改由NetWorker取而代之，随后NetWorker成为EMC核心的备份软件。

NetWorker支持数据的备份和归档，支持NAS存储的NDMP备份方式。在NetWorker的备份过程中，数据流从Client端传递到Storage Server、Storage Node端，Storage Server、Storage Node再将数据保存至备份介质上。备份介质可以是本地硬盘、外接存储阵列、磁带库、网络共享存储等。Storage Server可以是NetWorker服务器，也可以是额外安装的一台NetWorker存储节点(即NetWorker Server也具备存储节点的功能)。

![format_png 5][]

#### 2、Avamar ####

Avamar是2006年被EMC收购，它虽然也能够实现简单的备份功能，但是其功能侧重于数据重删。通常Avamar都是配合NetWorker完成源端重复数据的删除功能（目标端的重复数据删除功能主要是借助EMC Data Domain来完成）。

Avamar分为一体机和AVE虚拟化版本。对于一体机，其数据只能存放在自带的Data Store节点上。AVE版本则支持使用第三方存储设备作为备份介质，包括SAN、NAS、DAS存储设备等。AVE使用外部存储的过程中，存储空间直接添加给AVE所在VMware ESXi服务器，然后由ESXi服务器分配相应的存储资源给AVE系统作为备份空间。

![format_png 6][]

### Symantec备份软件 ###

> Symantec的备份软件主要有2款：NetBackup（简称NBU）和Backup Exec（简称BE）。

#### 1、NBU ####

NBU是一个跨平台的产品，可用于复杂的异构平台，属于Symantec的高端产品，备份服务器可以装在各种主流平台如Windows、Linux、各种Unix等，几乎支持市面所有常见的各种平台和数据库的备份。Unix和Linux除了支持文件备份还支持各种数据库的在线备份，支持的功能全面，数据库种类广泛，支持LAN-FREE和SAN-FREE备份方式。NBU支持备份和归档，相对价格较贵些。

NBU软件各模块分为三层体系，分别是Clients/Agents、Master Server和Media Servers。备份过程中，数据从Clients/Agents传递给Media Servers，Media Servers将数据存放到备份介质上

![format_png 7][]

#### 2、BE ####

BE主要针对Windows平台，属于Symantec的低端产品。BE的备份服务器只能装在Windows平台上。BE的客户端支持Windows和Linux平台。但是当涉及数据库备份恢复时，除了Oracle Database外，其他数据库BE只支持Windows平台下的数据库代理。备份方式中，BE支持文件备份，支持LAN-FREE等备份方式。BE面对的主要是中小客户，价格相对比较便宜。

BE的软件模块分为2层，分别是BE备份服务器和代理。备份过程中，数据从Agents传递给备份服务器，备份服务器将数据存放到备份介质上。

![format_png 8][]

### Commvault备份软件 ###

#### Simpana ####

Simpana提供了数据保护、归档、复制、资源管理和搜索模块，这些模块利用一套源代码被无缝地结合在一起，并能共享相同的服务功能。

Simpana软件各模块分为三层体系，分别是主控服务器CommServe、介质服务器Media Agent、客户端服务器iDataAgent。各个模块可以安装在相同的计算机上，也可以安装在不同的计算机上。备份过程中，iDataAgent负责将备份数据传递给Media Agent，Media Agent将数据存放到备份介质上。备份介质可以是本地硬盘、磁带库、网络共享空间等。

![format_png 9][]

### IBM备份软件 ###

IBM的备份软件简称为**TSM**（Tivoli Storage Manager，现在更名为IBM Spectrum Protect）。TSM能够为用户提供企业级的存储数据管理解决方案，包括备份、归档、空间管理以及灾难恢复管理等功能。

TSM和BE相似，也分为Agent和备份服务器。备份过程中，数据从Agents传递给备份服务器，备份服务器将数据存放到备份介质上。

![format_png 10][]

> 前面我们已经分析了业界主流备份软件的模块组件。接下来，我们比较一下这些备份软件之间的一些优劣势。

## 备份软件功能分析 ##

### 备份归档功能 ###

> 备份是将数据备份到存储介质中，用于数据的恢复，可以保存多个历史版本。归档是将不常用、不需要长期保留在生产环境上的数据迁移到更廉价的存储介质上，用于数据检索发现。

Symantec BE备份软件本身仅提供备份的功能，如果需要提供归档功能，则需要集成Symantec的另外一款软件Enterprise Vault。NetWorker、Simpana、NBU、TSM均内置了备份和归档的功能。

### 数据重删 ###

> 备份过程中，备份的数据存在大量的冗余数据。为了节省更多的空间，数据重删成为备份的一个核心技术点。它是通过查找不同文件中的不同位置的数据块，将重复的数据块通过指示符取代来实现。

EMC NetWorker本身并不具备重删功能。如果需要提供该项功能则需要集成EMC Avamar或者是EMC Data Domain组件。Simpana、BE、NBU、TSM均内置了该功能。

### NDMP备份 ###

NetWorker、Simpana、BE、NBU、TSM均支持该项功能，而且均提供了通用NAS NDMP配置，并没有限定NAS设备的厂商型号。

### 操作系统兼容性 ###

TSM、Simpana、NBU对备份软件特性支持均很全面，NetWorker次之，BE最少。

### 易维护性 ###

TSM的安装配置过程比较复杂，不容易操作。其他备份软件的易用性要好很多。总体来看，各大备份软件在功能上的差异其实并不大，部分缺失的功能均有其它相应的产品可以补充。在客户定位上，Symantec做的好些，针对不同级别的客户提供不同类型的软件，产品售价上灵活很多，而其他厂商都是一刀切。兼容性覆盖上，BE做的少些，这应该跟其定位的客户群相关。操作性上，TSM最不容易上手。

## NDMP技术和NAS备份 ##

> NDMP最初由NetApp和Legato Systems公司（2003年被EMC收购）联合开发设计，于1996年提出了V1版本，后续不断发展，最新版本为V5，但是得到广泛应用是V4版本。目前，基本上主流的NAS存储厂商都支持NDMP备份协议。很多客户在购买NAS存储的时候，也都会要求NAS存储支持NDMP协议。

##### 传统的NAS存储备份如何实现 #####

在了解NDMP备份之前，我们首先看看传统的NAS存储备份方式是如何实现的。由于NAS设备是个封闭的存储系统，一般很难在NAS设备上安装备份软件的Client Agent(只能安装在生产系统上)，所以传统的网络备份都是先通过CIFS或者NFS共享协议从NAS设备中将需要备份的数据读出，然后再通过网络将这些数据传送到备份服务器上备份。

![format_png 11][]

> 点评：传统的这种备份方式缺点就是会占用网络资源及生产系统、备份服务器的资源，性能偏低，很难满足大数据量的备份。

##### 那么NDMP具体是实现什么功能呢 #####

NDMP是一个专门为NAS设备的数据备份系统设计的协议。简单来讲，它可以让NAS设备直接向其所连接的磁带设备或者位于网络上的备份服务器发送需要备份的数据，这个过程不需要任何备份Client Agent的参与。NDMP通常有3类组网方式，**2-way**、**3-way**和**Remote组网**。

#### NDMP三种组网方式： ####

##### 2-way组网： #####

2-way组网方式中，备份介质不再与备份服务器连接，而是直接与NAS存储系统连接。备份服务器执行备份操作的时候，通过以太网将备份命令传递给NAS存储，NAS存储直接将数据备份到与其连接的磁带库上。

![format_png 12][]

> 点评：从上图中可以发现，NDMP 2-way这种备份方式下，数据流直接传递到备份介质上，大大提升了传输性能，同时减少了服务器资源的占用。但是由于磁带库是连接给NAS存储的，所以磁带库只能给这一台NAS存储做备份。

实际应用中，磁带库的价格是非常昂贵的，为了可以让不同的NAS存储共享磁带设备，NDMP同时还支持3-way这种备份方式。

##### 3-way组网： #####

3-way备份方式下，NAS存储系统可以通过专用备份网络传递备份数据到连接了磁带库的NAS存储上，由该NAS存储将数据备份到磁带库中去。3-way备份方式实现了多个NAS存储之间共享磁带库的目的，但是由于其数据需要在NAS存储之间传递，性能受限于备份网络的带宽。

![format_png 13][]

> 点评：2-way和3-way组网中，由于数据都是从NAS存储系统上备份到磁带库中，所以NAS存储系统必须支持磁带库。为了屏蔽这种限制，衍生出下面这种Remote组网方式。

##### Remote组网： #####

这种组网方式下，由备份软件负责和磁带库相关的操作，NAS存储只需要将数据传递给备份服务器就可以。

![format_png 14][]

这种组网下，对NAS存储的要求降低了，也可以共用磁带库资源，但是由于数据都是通过网络传递给服务器，所以性能会偏低，同时备份服务器的负荷也增加了。

最后我们通过下面一张表格来总结一下NDMP三种组网与传统组网之间的特性。

![format_png 15][]

> 通过上面的表格我们可以看到，2-way，3-way，remote三种方式各有利弊，需要根据实际场景和条件选择最合适自己的方式进行备份。

![format_png 16][]

往期精彩

◆  [手把手教你搭建一套OpenStack云平台][OpenStack]

◆  [利用expect批量修改Linux服务器密码][expect_Linux]

◆  [Linux运维工程师面试问答录][Linux]

◆  [干货 | Linux平台搭建网关服务器][_ Linux]

◆  [干货 | 理解正向代理与反向代理的区别][Link 1]

◆  [硬核科普服务器硬盘组成与基本原理][Link 2]

◆  [一文带你速懂虚拟化KVM和XEN][KVM_XEN]

◆  [实战 | Hadoo大数据集群搭建][_ Hadoo]

◆  [运维工程师心法：6大技能让你告别背锅][6]

![format_png 17][]

如有收获，点个在看，诚挚感谢

[format_png]: /images/20210726/acf60a406736404383ca0ab46afd1647.png
[format_png 1]: /images/20210726/161202e2e4ad4dc49710f2ac7c2bbd84.png
[format_png 2]: /images/20210726/b8bdd8be0c5d4054b904a5f6a62b1e25.png
[format_png 3]: /images/20210726/0381a55a7eac4b51ae2e4db663897b33.png
[format_png 4]: /images/20210726/4e803c3d9c0344c48623006a021a8912.png
[format_png 5]: /images/20210726/d70f480cbf054f229faf75e0520fcec8.png
[format_png 6]: /images/20210726/dd3136ba9c124f059b0d7f380d918ec7.png
[format_png 7]: /images/20210726/59e2235ff6f342ffb49d21e2e45b78b2.png
[format_png 8]: /images/20210726/fbc417185bd84669953363a7fb765148.png
[format_png 9]: /images/20210726/cb30faf28ac846279795b9d0e931b396.png
[format_png 10]: /images/20210726/0bb44a17991543acafb73db99186b20e.png
[format_png 11]: /images/20210726/669523a70678402e83fe0a14389c8f3c.png
[format_png 12]: /images/20210726/33aff1df2dea44c78be681080d0c9e36.png
[format_png 13]: /images/20210726/3ba4efcb0b8e4033837175eb4c7293a5.png
[format_png 14]: /images/20210726/c018b45725bb46dead9cb5549d9b8cf9.png
[format_png 15]: /images/20210726/6dd526e4862e49458c71ed33a0a116b2.png
[format_png 16]: /images/20210726/355178feeb4b440ea79f63311ea78fa7.png
[OpenStack]: https://blog.csdn.net/weixin_38889300/article/details/105563051
[expect_Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d6b9dc135fafde24a277994f58efd8ca1c9a7de94b9d9dfe490afd027517a20134e4be06&idx=1&mid=2247484681&scene=21&sn=740ed69ba3c2420b128453f64c9f9e79#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d775dc135e63e6d5a9d488c0a8b3c863655a90b94cfc0e5f8ce6a49a09f04a096dda52b6&idx=1&mid=2247484613&scene=21&sn=8c93aa6f56ea0422085240336de7c1e9#wechat_redirect
[_ Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d014dc135902f4698838249e6bf60a5c378b4d6ef5151547c403d85c5d2e5f91e0e7d9ce&idx=1&mid=2247484324&scene=21&sn=6cd6ea36d1372fbfd937b3fdc219948d#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d7ecdc135efa49083407e26cb5d1cc962f0cc690e5f1530ccefc3661808eb3492e0c178a&idx=1&mid=2247484508&scene=21&sn=d6bcc35f962b58debdcbf6cecdea3cb6#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d0a4dc1359b26f68145f11eb9c718195d55fb2f2b598a9b26c7fcf9e238743064bae32ff&idx=1&mid=2247484180&scene=21&sn=83aeff4baa65ba2e16196d3ae84d5f4d#wechat_redirect
[KVM_XEN]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d07bdc13596dbbef1dd33d89684a4bc98fa0fee3338524c0e17226e8cf726818bd26ff76&idx=1&mid=2247484363&scene=21&sn=daad565c5ccea381e0ec580412ce049b#wechat_redirect
[_ Hadoo]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d78edc135e98503e24685c66df4c20bde0579bd338436c2c4dba92635cc2dd224d86fe57&idx=1&mid=2247484478&scene=21&sn=be9153d011c877a1da9297ed465a9405#wechat_redirect
[6]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d705dc135e13f6c1a24fa082c4081df3b967597467563f65752bf42c4b1bb80f85616df9&idx=1&mid=2247484597&scene=21&sn=a1f803f96ee89343c88c10dc1dd9d52b#wechat_redirect
[format_png 17]: /images/20210726/854735812e0a4dd08f7b679cca9ebc3d.png