Centos6 部署分布式文件系统FastDFS

傷城~ 2022-06-10 10:59 216阅读 0赞

## FASTDFS相关简介 ##

FastDFS是一个开源的轻量级的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。  
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。  
FastDFS架构：  
FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。  
1. tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信 息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。  
2.storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。  
3.client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。  
![FastDFS原理][FastDFS]

文件上传和下载的交互过程  
![这里写图片描述][SouthEast]

![这里写图片描述][SouthEast 1]

文件上传流程：  
客户端（client）询问Tracker server上传到的Storage server  
1.client->Tracker server(返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口)  
2.client直接与1返回的Storage server建立连接->文件上传成功后->Storage server会返回新生成的文件ID->结束

文件下载流程的步骤如下：  
1. client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；  
2. Tracker server返回一台可用的Storage server；  
3. client直接和该Storage server建立连接，完成文件下载。

本文详细介绍了FastDFS在centos系统上的详细安装过程，在从机上使用了nginx实现了http的访问请求。具体操作如下  
FastDFS相关工具下载 [https://pan.baidu.com/s/1gfiVMtt][https_pan.baidu.com_s_1gfiVMtt]

## 1.将下载的工具上传到服务器上 ##

所需安装包  
上传机制：  
![安装包][SouthEast 2]

## 2.FastDFS集群规划 ##

<table> 
 <thead> 
  <tr> 
   <th>描述</th> 
   <th>服务器</th> 
   <th align="center">HOST</th> 
   <th align="right">分组</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>跟踪服务器1</td> 
   <td>192.168.1.208</td> 
   <td align="center">mgr208</td> 
   <td align="right"></td> 
  </tr> 
  <tr> 
   <td>存储服务器1</td> 
   <td>192.168.1.211</td> 
   <td align="center">mgr211</td> 
   <td align="right">group1</td> 
  </tr> 
  <tr> 
   <td>存储服务器2</td> 
   <td>192.168.1.212</td> 
   <td align="center">mgr212</td> 
   <td align="right">group1</td> 
  </tr> 
 </tbody> 
</table>

3.关闭防火墙和sellinux

service iptables stop 
     chkconfig iptables off

vi /etc/selinux/config 修改 selinux=disable，重启生效

## 3.FastDFS安装（所有tracker服务器和storage服务器均有如下操作） ##

3.1编译和安装所需的依赖包

yum install make cmake gcc gcc-c++

![这里写图片描述][SouthEast 3]

3.2 安装libfastcommon  
①. 安装unzip包，将libfastcommon解压到/usr/local下

yum install -y unzip zip
    
     unzip libfastcommon-1.0.7.zip -d /usr/local

![这里写图片描述][SouthEast 4]

②.编译并运行

cd /usr/local/libfastcommon-1.0.7
     ./make.sh
     ./make.sh install

由于FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接.

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
       ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
       ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
       ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

![这里写图片描述][SouthEast 5]

3.3 安装 FastDFS

①.解压FastDFS至 /usr/local

tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local

②.编译并安装

cd /usr/local/FastDFS
    
       ./make.sh
    
       ./make.sh install

采用默认安装的方式安装,安装后的相应文件与目录：

A、服务脚本在：
    
              /etc/init.d/fdfs_storaged
    
              /etc/init.d/fdfs_tracker
    
       B、配置文件在（样例配置文件）:
    
              /etc/fdfs/client.conf.sample
    
              /etc/fdfs/storage.conf.sample
    
              /etc/fdfs/tracker.conf.sample
    
       C、命令工具在/usr/bin/目录下的：
    
              fdfs_appender_test
    
              fdfs_appender_test1
    
              fdfs_append_file
    
              fdfs_crc32
    
              fdfs_delete_file
    
              fdfs_download_file
    
              fdfs_file_info
    
              fdfs_monitor
    
              fdfs_storaged
    
              fdfs_test
    
              fdfs_test1
    
              fdfs_trackerd
    
              fdfs_upload_appender
    
              fdfs_upload_file
    
              stop.sh
    
              restart.sh

③. FastDFS 服务脚本设置的 bin 目录是/usr/local/bin，我们在实际命令安装时是在/usr/bin目录下，可以进入/user/bin 目录使用以下命令查看 fdfs 的相关命令：  
![这里写图片描述][SouthEast 6]

我们需要修改 FastDFS 服务脚本中相应的命令路径  
把/etc/init.d/fdfs\_storaged和/etc/init.d/fdfs\_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin：

\# vi /etc/init.d/fdfs\_trackerd

使用查找替换命令进批量修改：:%s+/usr/local/bin+/usr/bin

\# vi /etc/init.d/fdfs\_storaged

使用查找替换命令进批量修改：:%s+/usr/local/bin+/usr/bin

## 4.配置FastDFS跟踪器Tracker（192.168.1.208） ##

4.1 复制 FastDFS 跟踪器样例配置文件,并重命名

# cd /etc/fdfs/
    # cp tracker.conf.sample tracker.conf

4.2 编辑跟踪器配置文件

vi /etc/fdfs/tracker.conf

修改的内容如下：

disabled=false #启用配置文件(默认)
    
       port=22122  #tracker 的端口号，默认端口22122
    
       base_path=/fastdfs/tracker  #tracker 的数据文件和日志目录
    
       store_lookup=0（采取轮巡方式选择要上传的组进行存储，默认2 选择最大空闲空间的组）

4.3 创建基础数据目录

mkdir -p /fastdfs/tracker

4.4 防火墙中打开跟踪器端口（默认为 22122，因为我这边内网测试服务器防火墙都已经关闭，可以不配置，线上环境为安全考虑一般都会打开）

vi /etc/sysconfig/iptables
    
           添加如下端口行：
    
           -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
    
           重启防火墙：
    
           # service iptables restart

4.5 启动 Tracker

/etc/init.d/fdfs_trackerd start
     （第一次成功启动，会在/fastdfs/tracker 目录下创建 data、logs 两个目录）可以通过以下两个方法查看 tracker 是否启动成功:

查看 22122 端口监听情况
    
     # netstat -unltp|grep fdfs
    
    通过以下命令查看 tracker 的启动日志，看是否有错误
    
     # tail -100f /fastdfs/tracker/logs/trackerd.log

关闭 Tracker命令为

/etc/init.d/fdfs_trackerd stop

## 5.配置FastDFS存储服务器storage（192.168.1.211 ,192.168.1.212） ##

5.1 复制 FastDFS 存储器样例配置文件,并重命名

cd /etc/fdfs/
    
          cp storage.conf.sample storage.conf

5.2 编辑存储器样例配置文件

vi /etc/fdfs/storage.conf

修改的内容如下:

disabled=false #启用配置文件 group_name=group1 #组名（第一组为 group1，第二组为 group2） port=23000 #storage 的端口号,同一个组的 storage 端口号必须相同 base_path=/fastdfs/storage #设置 storage 的日志目录 store_path0=/fastdfs/storage #存储路径 store_path_count=1 #存储路径个数，需要和 store_path 个数匹配 tracker_server=192.168.1.170:22122 #tracker 服务器的 IP 地址和端口 tracker_server=192.168.1.180:22122 #多个 tracker 直接添加多条配置 http.server_port=8888 #设置 http 端口号

5.3 创建基础数据目录

mkdir -p /fastdfs/storage

5.4 防火墙中打开存储端口（默认为 23000，因为我这边内网测试服务器防火墙都已经关闭，可以不配置，线上环境为安全考虑一般都会打开）

5.5 启动 Storage

/etc/init.d/fdfs_storaged start
    
    查看 23000 端口监听情况：
    
    netstat -unltp|grep fdfs
    
    所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息：
    
     /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

关闭Storage

/etc/init.d/fdfs_storaged stop

## 6.文件上传测试（192.168.1.208） ##

6.1 修改 Tracker 服务器中的客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
      vi /etc/fdfs/client.conf

base_path=/fastdfs/tracker tracker_server=192.168.1.208:22122

6.2 图片上传测试

FastDFS上传命令如下：

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/架构分层.png

![这里写图片描述][SouthEast 7]  
上图路径可以看过上传在group1 （211,212两台存储服务器中），我们去两台服务器中查看，可以看到两台服务器中都有上传成功。

ll /fastdfs/storage/data/00/00/

![这里写图片描述][SouthEast 8]  
![这里写图片描述][SouthEast 9]

## 7.在各个存储节点上安装Nginx(在storage上安装的nginx主要为了提供http的访问服务，同时解决group中storage服务器的同步延迟问题) ##

7.1解压nginx插件fastdfs-nginx-module,以及依赖包 pcre、zlib

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/
    tar -zvxf  pcre-8.34.tar.gz -C /usr/local/
    tar -zvxf zlib-1.2.8.tar.gz -C /usr/local/

7.2 解压安装nginx

tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/

7.3 修改 fastdfs-nginx-module 的 config 配置文件

vi /usr/local/fastdfs-nginx-module/src/config

改成这行

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

![这里写图片描述][SouthEast 10]

7.4 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

7.5 编译安装 Nginx（添加 fastdfs-nginx-module 模块）

cd /usr/local/nginx-1.7.8/
    
    ./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/  --with-pcre=/usr/local/pcre-8.34/ --with-zlib=/usr/local/zlib-1.2.8/
    
    make
    
    make install

![这里写图片描述][SouthEast 11]  
安装成功的话，结果和上图一样，无error信息

7.6 将FastDFS的nginx插件模块的配置文件copy到FastDFS配置文件目录

cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf  /etc/fdfs/
    
    vi  /etc/fdfs/mod_fastdfs.conf

Storage 的 mod\_fastdfs.conf 配置

#include http.conf
    
    connect_timeout=10
    
    base_path=/tmp
    
    tracker_server=192.168.1.208:22122
    
    storage_server_port=23000
    
    group_name=group1
    
    url_have_group_name = true
    
    store_path0=/fastdfs/storage
    
    group_count = 1  #根据存储接口group数量设置  本例只有一组
    
    [group1]
    
    group_name=group1
    
    storage_server_port=23000
    
    store_path_count=1
    
    store_path0=/fastdfs/storage

7.7将fastdfs安装包中的http.conf、mime.types 两个文件拷贝到/etc/fdfs中

cp /usr/local/FastDFS/conf/http.conf  /etc/fdfs/
    
    cp /usr/local/FastDFS/conf/mime.types  /etc/fdfs/

7.8 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

7.9 配置 Nginx

添加

server {
    
                  listen 8888;
    
                  server_name localhost;
    
                  location /group1/M00 {
    
                #alias /fastdfs/storage/data;
    
                ngx_fastdfs_module;
    
            }

修改配置后要重启nginx,并添加8888端口到防火墙

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

重启防火墙:

service iptables restart

测试访问之前上传的图片：  
[http://192.168.1.211:8888/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png][http_192.168.1.211_8888_group1_M00_00_00_wKgB01mVDFCAYQhLAABx7LgjO-Q374.png]

![这里写图片描述][SouthEast 12]  
注意事项：  
1、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server\_port=8888 相对应，

因为 http.server\_port 默认为 8888,如果想改成 80，则要对应修改过来。

2、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，

对应的 Nginx 配置为：

location ~/group([0-9])/M00 {
    
    ngx_fastdfs_module;
    
    }

3、如果下载时如发现老报 404，将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

## 8 跟踪器（Tracker）上安装Nginx(在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务) ##

8.1 安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

8.2 编译安装 Nginx（添加 ngx\_cache\_purge 模块）  
下载ngx\_cache\_purge-2.3.tar.gz并解压

tar -zxvf ngx_cache_purge-2.3.tar.gz -C /usr/local/
    
    tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/
    
    cd /usr/local/nginx-1.7.8/
    
    ./configure --prefix=/usr/local/nginx --add-module=/usr/local/ngx_cache_purge-2.3/
    
     make && make install

8.3 配置 Nginx，设置负载均衡以及缓存

vi /usr/local/nginx/conf/nginx.conf

修改nginx.conf (仅供参考，具体参数优化自行修改)

#user nobody;
    worker_processes  1;
    
    events {
    
        worker_connections  1024;
    }
    
    http {
    
        include       mime.types;
        default_type  application/octet-stream;
        sendfile        on;
        proxy_cache_path  /fastdfs/cache/nginx/proxy_cache  levels=1:2 keys_zone=cache1:200m inactive=1d max_size=10g;
    
        upstream fdfs_group1 {
    
                         server 192.168.1.211:8888 weight=1 max_fails=2 fail_timeout=30s;
    
                         server 192.168.1.212:8888 weight=1 max_fails=2 fail_timeout=30s;
    
                  }
    
           server{
    
                         listen 8000;
    
                         server_name localhost;
    
                         #设置 group 的负载均衡参数
    
                         location /group1/M00 {
    
                                proxy_pass http://fdfs_group1;
                         }
    
                         #group2
    
                         #group3
    
                         #设置清除缓存的访问权限
    
                         location ~/purge(/.*) {
    
                                allow 127.0.0.1;
    
                                allow 192.168.1.13;
    
                                allow 192.168.1.0/24;
    
                                deny all;
    
                               # proxy_cache_purge http-cache $1$is_args$args;
                                proxy_cache_purge    cache1 $host$1$is_args$args;
                         }
    
                  }
    }

创建缓存目录

mkdir -p /fastdfs/cache/nginx/proxy_cache

然后启动nginx并添加对应端口8000到防火墙

vi /etc/sysconfig/iptables
    
    
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
    
      重启防火墙
    
    service iptables restart

访问[http://192.168.1.208:8000/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png][http_192.168.1.208_8000_group1_M00_00_00_wKgB01mVDFCAYQhLAABx7LgjO-Q374.png]  
能成功打开，说明配置成功。  
![这里写图片描述][SouthEast 13]

[FastDFS]: /images/20220610/1f646186439c4583b2ef14b42ab7afd8.png
[SouthEast]: /images/20220610/800627e8369a4593adbb459c21538889.png
[SouthEast 1]: /images/20220610/590a2410df1947ab85ed3a04f7a6990d.png
[https_pan.baidu.com_s_1gfiVMtt]: https://pan.baidu.com/s/1gfiVMtt
[SouthEast 2]: /images/20220610/7ed27357755d4acd9cff45e3e56e3e6e.png
[SouthEast 3]: /images/20220610/157e487a7a8b44f68df83ea52e190da3.png
[SouthEast 4]: /images/20220610/0f2b1c5fdb4f44baabd6c3ac55ec8cc4.png
[SouthEast 5]: /images/20220610/2fc123775bd847c4bcb19eddefaf2eb0.png
[SouthEast 6]: /images/20220610/539e6992a5cd48f597e502935656bfb6.png
[SouthEast 7]: /images/20220610/f86a34e68c0d4694a123cac0d6f65603.png
[SouthEast 8]: /images/20220610/b3fd09a43e0a4bde8c5e0c67e18426e0.png
[SouthEast 9]: /images/20220610/09b6ad9e69a840e89fe15c9ed4bc10de.png
[SouthEast 10]: /images/20220610/2d14da98b58d47eab8c32871329cdcfd.png
[SouthEast 11]: /images/20220610/dcfc53662e644b47bce7486ceafe8fa7.png
[http_192.168.1.211_8888_group1_M00_00_00_wKgB01mVDFCAYQhLAABx7LgjO-Q374.png]: http://192.168.1.211:8888/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png
[SouthEast 12]: /images/20220610/eae70727135d4769a5f86f7aa7ab335f.png
[http_192.168.1.208_8000_group1_M00_00_00_wKgB01mVDFCAYQhLAABx7LgjO-Q374.png]: http://192.168.1.208:8000/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png
[SouthEast 13]: /images/20220610/178c8c29e546459b96c57fc0f84805fb.png