使用vsFTP服务实现大数据的远程灾备

谁践踏了优雅 2022-01-30 06:19 240阅读 0赞

目 录  
\[第一章\] 安装VSFTPD  
\[第二章\] 相关用户的创建，以及用户相关目录和文件的创建  
\[第三章\] VSFTP客户端的使用  
\[第四章\] 实施大数据文件的异地灾备

业务需求：对云主机的大数据做远程灾备（把云主机上的数据在其他的机器上做定期备份），以便云主机数据丢失后的恢复。  
ftp客户端用户的权限：(1) 禁止匿名用户操作，只允许虚拟用户操作；(2) 每个虚拟用户只能在自己的根目录执行ls、mkdir、put；(3) 不允许删除自己根目录下的文件也不允许删除其他目录下的文件；(4) 不允许查看或切换到其他目录。

\[第一章\] 安装VSFTPD  
1.1 采用yum安装vsftpd  
\[root@backup\_host data6\]\# yum install -y vsftpd  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70]  
默认的端口号21用于和client端进行指令传输；默认的20端口用于数据传输。

1.2 相关文件简介

[root@backup_host data6]# rpm -qc vsftpd
    /etc/logrotate.d/vsftpd
    /etc/pam.d/vsftpd		# Plugable Authentication可插拔的认证文件
    /etc/vsftpd/ftpusers
    /etc/vsftpd/user_list
    /etc/vsftpd/vsftpd.conf		# VSFTP主配置文件，所有的配置选项必须顶格写

用户登录的安全级别高低顺序：虚拟用户 > 系统用户 > 匿名用户  
由于是生产环境，建议使用安全性高的虚拟用户登陆。那么相应配置需要按照虚拟用户来实施。  
下面开始实施虚拟用户方式的ftp登录。

\[第二章\] 系统用户、虚拟用户的创建，以及虚拟用户相关目录和文件的创建  
2.1 创建vsftpd使用的系统用户vsftpd，主目录为/home/vsftpd，禁止ssh登录。  
创建之后，所有虚拟用户将使用这个系统用户vsftpd访问文件，也就是说虚拟用户被映射为这个系统用户。

[root@backup_host ~]# useradd -s /sbin/nologin  vsftpd
    [root@backup_host ~]# mkdir /home/vsftpd   # 无需为系统用户vsftpd建主目录，系统会自动为其创建家目录
    mkdir: cannot create directory ‘/home/vsftpd’: File exists
    [root@backup_host ~]# ll /home/ | grep vsftpd
    drwx------  3 vsftpd   vsftpd    78 5月  15 15:29 vsftpd
    [root@backup_host ~]# ll -ht /etc/vsftpd/
    total 20K
    -rw------- 1 root root  125 10月 31  2018 ftpusers
    -rw------- 1 root root  361 10月 31  2018 user_list
    -rw------- 1 root root 5.0K 10月 31  2018 vsftpd.conf
    -rwxr--r-- 1 root root  338 10月 31  2018 vsftpd_conf_migrate.sh

2.2 创建虚拟用户及其主目录  
需创建的虚拟用户名叫testuser，那么先创建其主目录：

[root@backup_host ~]# mkdir -p /home/vsftpd/testuser
    [root@backup_host ~]# ll /home/vsftpd/
    total 0
    drwxr-xr-x 2 root root 6 5月  15 15:50 testuser
    [root@backup_host ~]# chown -R vsftpd:vsftpd /home/vsftpd/testuser
    [root@backup_host ~]# ll /home/vsftpd/
    total 0
    drwxr-xr-x 2 vsftpd vsftpd 6 5月  15 15:50 testuser

在自定义的virtual\_users.conf文件中创建虚拟用户

[root@backup_host ~]# vi /etc/vsftpd/virtual_users.conf
    [root@backup_host ~]# ll /etc/vsftpd/virtual_users.conf 
    -rw-r--r-- 1 root root 20 5月  15 16:04 /etc/vsftpd/virtual_users.conf

文件中的奇数行号写虚拟用户名，偶数行号写密码

[root@backup_host ~]# cat /etc/vsftpd/virtual_users.conf 
    testuser
    testuser's-password

2.3 使用db\_load命令生成口令库文件，并启用该文件  
口令库文件也叫认证文件，被用于vsftpd识别，需要由系统自带的db\_load生成。  
根据虚拟用户文件/etc/vsftpd/virtual\_users.conf创建数据库文件

[root@backup_host ~]# db_load -T -t hash -f /etc/vsftpd/virtual_users.conf /etc/vsftpd/virtual_users.db
    [root@backup_host ~]# ll /etc/vsftpd/virtual_users.*
    -rw-r--r-- 1 root root    20 5月  15 16:04 /etc/vsftpd/virtual_users.conf
    -rw-r--r-- 1 root root 12288 5月  15 16:14 /etc/vsftpd/virtual_users.db
    [root@backup_host ~]# chmod 600 /etc/vsftpd/virtual_users.db 
    [root@backup_host ~]# ll /etc/vsftpd/virtual_users.db 
    -rw------- 1 root root 12288 5月  15 16:14 /etc/vsftpd/virtual_users.db

通过修改pam配置来启用这个数据库文件

[root@backup_host ~]# vim /etc/pam.d/vsftpd   # 在前面增加这两行
    auth    sufficient /lib64/security/pam_userdb.so db=/etc/vsftpd/virtual_users
    account sufficient /lib64/security/pam_userdb.so db=/etc/vsftpd/virtual_users

2.4创建虚拟用户个人配置文件（每个虚户各自有一个配置文件）  
虚拟用户配置文件目录下创建一个和虚拟用户同名的文件

[root@backup_host ~]# mkdir /etc/vsftpd/userconf && cd /etc/vsftpd/userconf  # 用于放置所有虚拟用户的配置文件所在目录
    [root@backup_host userconf]# cat /etc/vsftpd/virtual_users.conf | head -n 1
    testuser
    [root@backup_host userconf]# vim testuser
    [root@backup_host userconf]# cat testuser  # local_root是testuser用户的FTP根目录
    local_root=/home/vsftpd/testuser/
    write_enable=YES

2.5 修改主配置文件

[root@backup_host ~]# grep --color "=" /etc/vsftpd/vsftpd.conf | grep -v "^#"
    anonymous_enable=NO			# 禁止匿名用户登录
    ascii_upload_enable=YES		#支持ASCII模式的上传功能
    local_enable=YES			# 虚拟用户需要映射到本地系统用户，故开此选项
    guest_enable=YES			# 启用虚拟用户
    guest_username=vsftpd		# 指定虚拟用户映射到哪个系统用户名
    user_config_dir=/etc/vsftpd/userconf		# 所有虚拟用户(其中一个虚户是testuser)使用的配置文件目录
    allow_writeable_chroot=YES
    virtual_use_local_privs=NO		# 虚拟用户只能上传文件，不能删除、不能对已上传的文件改名
    anon_world_readable_only=NO
    local_enable=YES
    write_enable=YES
    local_umask=022
    anon_upload_enable=YES		# 必须YES，虚拟用户才能上传
    anon_mkdir_write_enable=YES  # 必须YES，虚拟用户才能新建目录
    anon_other_write_enable=NO
    dirmessage_enable=YES
    xferlog_enable=YES
    connect_from_port_20=YES
    xferlog_std_format=YES
    listen=NO
    listen_ipv6=YES
    pam_service_name=vsftpd
    tcp_wrappers=YES

重启vsftpd服务即可。

\[第三章\] VSFTP客户端的使用  
3.1安装lftp  
\[appadmin@elcndc5dsj01 ~\]$ sudo yum -y install lftp  
服务端启动vsftpd后会监听默认21端口，那么要确保客户端能和21端口通信。

3.2 使用上述配置, 未开启虚拟用户认证时，(使用匿名用户)登录vsftp客户端操作

[root@backup_host ~]# ls -lh /tmp/derby.log
    -rw-rw-r-- 1 appadmin appadmin 890K 5月  13 11:40 /tmp/derby.log
    [appadmin@elcndc5dsj01 ~]$ lftp 10.11.16.123
    lftp 10.11.16.123:~> pwd
    ftp://10.11.16.123
    lftp 10.11.16.123:~> !ls -lh
    total 892K
    -rw-rw-r-- 1 appadmin appadmin 890K 2019-05-06 14:29 derby.log

3.3 未开启虚拟用户认证时，使用匿名用户上传文件  
可发现，匿名用户可登陆但无法上传：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 1]  
原因是未放开匿名用户的写权限  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 2]  
如截图，放开后，重试：  
\[root@backup\_host ~\]\# systemctl restart vsftpd  
重试put上传仍然失败。检查一下默认ftp公共目录的权限发现：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 3]  
配置有关匿名的选项：

[root@backup_host ~]# grep --color "=" /etc/vsftpd/vsftpd.conf | grep -v "^#"
    anonymous_enable=YES		# 启用匿名访问
    local_enable=YES 
    write_enable=YES 
    local_umask=022
    anon_upload_enable=YES			# 允许匿名用户上传
    anon_mkdir_write_enable=YES		# 允许匿名用户创建目录
    anon_other_write_enable=YES		# 向匿名用户开放其他写入权限
    dirmessage_enable=YES
    xferlog_enable=YES
    connect_from_port_20=YES
    xferlog_std_format=YES
    listen=NO
    listen_ipv6=YES
    pam_service_name=vsftpd
    userlist_enable=YES
    tcp_wrappers=YES

重启服务后重试，可以上传，但是无法在匿名用户的根目录(默认为/var/ftp/pub)下新建目录：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 4]  
修改匿名用户的根目录权限后，重试新建目录，成功：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 6]  
继续往该目录上传文件并对文件改名：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 7]  
到vsFTP查看结果，客户端成功上传：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 8]

3.4 开启安全性高的虚拟用户登录方式后(启用上述2.5小节的配置文件)，尝试匿名登录后发送指令：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 9]  
匿名用户也无法执行mkdir。  
采用虚拟用户登录操作——  
先从虚拟用户配置文件所在目录 /etc/vsftpd/virtual\_users.conf 查找到虚拟用户testuser的登录信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 10]  
再用虚户testuser登录操作,首先尝试输错密码，此时能登录：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 11]  
但是无法执行命令，说明身份认证生效了，必须输入正确密码才能继续操作：  
可以上传到指定虚拟用户所在的根目录 /home/vsftpd/testuser  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 12]  
虚拟用户testuser既无法看其他目录也不允许切换到其他目录，只能在/home/vsftpd/testuser操作  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 13]  
只能在testuser的主目录下创建目录  
![在这里插入图片描述][20190518133504163.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 14]  
按照本文开头的需求和权限要求，分别测试匿名用户登录后的操作、虚拟用户用错误密码登录后操作：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 15]  
结果达到预期：禁止匿名用户操作，只允许虚拟用户成功登录后操作。  
另外的问题：虚户testuser的主目录挂载盘容量太小，只有几十Gb，那么如何为其分配专用盘？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 16]  
修改指定专用盘挂载的目录(/data/data6)权限后，重试上传，成功：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 17]

\[第四章\] 实施大数据文件的异地灾备  
4.1 操作流程  
将hdfs待备份路径下的文件下载到hadoop集群所在的linux本地目录 ==> 对该目录下的所有文件压缩打包 ==> 在vsftp服务端主机预先创建存放灾备数据的目录 ==> 在vsftp客户端把压缩包通过虚拟用户上传到vsftp服务端主机 ==> 在vsftp服务端验证结果

4.2 vsftp服务端数据的安全性保障  
请参考本文开头的“ftp客户端用户的权限”。  
搞破坏的黑客即使攻破了数据源所在的云主机，想通过ssh方式登录到FTP服务端是不可能的，因为我们已关闭ssh的22端口。  
如果黑客碰巧猜到了testuser这个虚拟用户名、又碰巧猜对密码，想从云主机上用虚拟用户testuser通过lftp登录到FTP服务端，那么即使重登陆了也无法删除文件或重命名文件，只能上传和查看文件，所以此方案做的远程备份能确保数据不丢失。  
如截图的验证：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 18]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 19]  
从截图可看出，虚拟用户testuser尝试删除文件，结果失败。  
【结论】大数据的异地灾备及其数据安全需求，已成功实现

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70]: /images/20220130/9850e0b3439f4c0fa3097def4106f348.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 1]: /images/20220130/0269766127134c4cb07af204764be968.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 2]: /images/20220130/c5f1ffc1b4a54bc1b8cd28183c2bcd52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 3]: /images/20220130/71924e06e858432db6e028493ffb651b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 4]: /images/20220130/4e0fe157403648b3b04d70fa52b7007e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 5]: /images/20220130/7c840cab9d8f49c8ac830e94d2c7f307.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 6]: /images/20220130/2c399517f7cb460489afc3641d73894e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 7]: /images/20220130/3d7d88d0c8114cbd9ac73100ba4f3de3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 8]: /images/20220130/593c2c2cba9b434d9c1caa26811f0731.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 9]: /images/20220130/1a2548e328b644798684a2133cb9be23.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 10]: /images/20220130/26beec35ed8a480d8513e31f0078e8f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 11]: /images/20220130/e81faf6cfcd445e9b626bf8a081e64d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 12]: /images/20220130/7d57e34339d0495585e3b3ac75649b50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 13]: /images/20220130/4b0aae610d794a339a57de40172ba90f.png
[20190518133504163.png]: /images/20220130/a0fd3d35bebf4c50bbf47e4865bb29a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 14]: /images/20220130/f495ad52074640e29b0d4a23a20b44d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 15]: /images/20220130/2272a4478c054f7ea1c2ca761438001e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 16]: /images/20220130/7dcf7fbe530f4ccca5aad0d4f21a5f7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 17]: /images/20220130/4bae8bb8850444e4bd58fe6438aa92f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 18]: /images/20220130/a5a1ec9b9d7d48478d77abc35d2b5772.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTk4MTEz_size_16_color_FFFFFF_t_70 19]: /images/20220130/d3dc376b67ad4007b4ab2cca70213f24.png