Centos6 部署分布式文件系统FastDFS

傷城~ 2022-06-10 10:59 322阅读 0赞

FASTDFS相关简介

FastDFS是一个开源的轻量级的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
FastDFS架构：
FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。

  1. tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信 息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。
    2.storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。
    3.client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
    FastDFS原理

文件上传和下载的交互过程
这里写图片描述

这里写图片描述

文件上传流程：
客户端（client）询问Tracker server上传到的Storage server
1.client->Tracker server(返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口)
2.client直接与1返回的Storage server建立连接->文件上传成功后->Storage server会返回新生成的文件ID->结束

文件下载流程的步骤如下：

  1. client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；
  2. Tracker server返回一台可用的Storage server；
  3. client直接和该Storage server建立连接，完成文件下载。

本文详细介绍了FastDFS在centos系统上的详细安装过程，在从机上使用了nginx实现了http的访问请求。具体操作如下
FastDFS相关工具下载 https://pan.baidu.com/s/1gfiVMtt

1.将下载的工具上传到服务器上

所需安装包
上传机制：
安装包

2.FastDFS集群规划






























描述 服务器 HOST 分组
跟踪服务器1 192.168.1.208 mgr208
存储服务器1 192.168.1.211 mgr211 group1
存储服务器2 192.168.1.212 mgr212 group1

3.关闭防火墙和sellinux

  1. service iptables stop 
  2.  chkconfig iptables off
  4. vi /etc/selinux/config 修改 selinux=disable，重启生效

3.FastDFS安装（所有tracker服务器和storage服务器均有如下操作）

3.1编译和安装所需的依赖包

  1. yum install make cmake gcc gcc-c++

这里写图片描述

3.2 安装libfastcommon
①. 安装unzip包，将libfastcommon解压到/usr/local下

  1. yum install -y unzip zip
  3.  unzip libfastcommon-1.0.7.zip -d /usr/local

这里写图片描述

②.编译并运行

  1. cd /usr/local/libfastcommon-1.0.7
  2.  ./make.sh
  3.  ./make.sh install

由于FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接.

  1. ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
  2.    ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
  3.    ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
  4.    ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

这里写图片描述

3.3 安装 FastDFS

①.解压FastDFS至 /usr/local

  1. tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local

②.编译并安装

  1. cd /usr/local/FastDFS
  3.    ./make.sh
  5.    ./make.sh install

采用默认安装的方式安装,安装后的相应文件与目录：

  1. A、服务脚本在：
  3.           /etc/init.d/fdfs_storaged
  5.           /etc/init.d/fdfs_tracker
  7.    B、配置文件在（样例配置文件）:
  9.           /etc/fdfs/client.conf.sample
  11.           /etc/fdfs/storage.conf.sample
  13.           /etc/fdfs/tracker.conf.sample
  15.    C、命令工具在/usr/bin/目录下的：
  17.           fdfs_appender_test
  19.           fdfs_appender_test1
  21.           fdfs_append_file
  23.           fdfs_crc32
  25.           fdfs_delete_file
  27.           fdfs_download_file
  29.           fdfs_file_info
  31.           fdfs_monitor
  33.           fdfs_storaged
  35.           fdfs_test
  37.           fdfs_test1
  39.           fdfs_trackerd
  41.           fdfs_upload_appender
  43.           fdfs_upload_file
  45.           stop.sh
  47.           restart.sh

③. FastDFS 服务脚本设置的 bin 目录是/usr/local/bin，我们在实际命令安装时是在/usr/bin目录下，可以进入/user/bin 目录使用以下命令查看 fdfs 的相关命令：
这里写图片描述

我们需要修改 FastDFS 服务脚本中相应的命令路径
把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin：

# vi /etc/init.d/fdfs_trackerd

使用查找替换命令进批量修改：:%s+/usr/local/bin+/usr/bin

# vi /etc/init.d/fdfs_storaged

使用查找替换命令进批量修改：:%s+/usr/local/bin+/usr/bin

4.配置FastDFS跟踪器Tracker（192.168.1.208）

4.1 复制 FastDFS 跟踪器样例配置文件,并重命名

  1. # cd /etc/fdfs/
  2. # cp tracker.conf.sample tracker.conf

4.2 编辑跟踪器配置文件

  1. vi /etc/fdfs/tracker.conf

修改的内容如下：

  1. disabled=false #启用配置文件(默认)
  3.    port=22122  #tracker 的端口号，默认端口22122
  5.    base_path=/fastdfs/tracker  #tracker 的数据文件和日志目录
  7.    store_lookup=0（采取轮巡方式选择要上传的组进行存储，默认2 选择最大空闲空间的组）

4.3 创建基础数据目录

  1. mkdir -p /fastdfs/tracker

4.4 防火墙中打开跟踪器端口（默认为 22122，因为我这边内网测试服务器防火墙都已经关闭，可以不配置，线上环境为安全考虑一般都会打开）

  1. vi /etc/sysconfig/iptables
  3.        添加如下端口行：
  5.        -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
  7.        重启防火墙：
  9.        # service iptables restart

4.5 启动 Tracker

  1. /etc/init.d/fdfs_trackerd start
  2.  （第一次成功启动，会在/fastdfs/tracker 目录下创建 data、logs 两个目录）可以通过以下两个方法查看 tracker 是否启动成功:
  4. 查看 22122 端口监听情况
  6.  # netstat -unltp|grep fdfs
  8. 通过以下命令查看 tracker 的启动日志，看是否有错误
  10.  # tail -100f /fastdfs/tracker/logs/trackerd.log

关闭 Tracker命令为

  1. /etc/init.d/fdfs_trackerd stop

5.配置FastDFS存储服务器storage（192.168.1.211 ,192.168.1.212）

5.1 复制 FastDFS 存储器样例配置文件,并重命名

  1. cd /etc/fdfs/
  3.       cp storage.conf.sample storage.conf

5.2 编辑存储器样例配置文件

  1. vi /etc/fdfs/storage.conf

修改的内容如下:

  1. disabled=false #启用配置文件 group_name=group1 #组名（第一组为 group1，第二组为 group2） port=23000 #storage 的端口号,同一个组的 storage 端口号必须相同 base_path=/fastdfs/storage #设置 storage 的日志目录 store_path0=/fastdfs/storage #存储路径 store_path_count=1 #存储路径个数，需要和 store_path 个数匹配 tracker_server=192.168.1.170:22122 #tracker 服务器的 IP 地址和端口 tracker_server=192.168.1.180:22122 #多个 tracker 直接添加多条配置 http.server_port=8888 #设置 http 端口号

5.3 创建基础数据目录

  1. mkdir -p /fastdfs/storage

5.4 防火墙中打开存储端口（默认为 23000，因为我这边内网测试服务器防火墙都已经关闭，可以不配置，线上环境为安全考虑一般都会打开）

  1. vi /etc/sysconfig/iptables
  3.        添加如下端口行：
  5.        -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
  7.        重启防火墙：
  9.        # service iptables restart

5.5 启动 Storage

  1. /etc/init.d/fdfs_storaged start
  3. 查看 23000 端口监听情况：
  5. netstat -unltp|grep fdfs
  7. 所有 Storage 节点都启动之后，可以在任一 Storage 节点上使用如下命令查看集群信息：
  9.  /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

关闭Storage

  1. /etc/init.d/fdfs_storaged stop

6.文件上传测试（192.168.1.208）

6.1 修改 Tracker 服务器中的客户端配置文件

  1. cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
  2.   vi /etc/fdfs/client.conf
  4. base_path=/fastdfs/tracker tracker_server=192.168.1.208:22122

6.2 图片上传测试

FastDFS上传命令如下：

  1. /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/架构分层.png

这里写图片描述
上图路径可以看过上传在group1 （211,212两台存储服务器中），我们去两台服务器中查看，可以看到两台服务器中都有上传成功。

  1. ll /fastdfs/storage/data/00/00/

这里写图片描述
这里写图片描述

7.在各个存储节点上安装Nginx(在storage上安装的nginx主要为了提供http的访问服务，同时解决group中storage服务器的同步延迟问题)

7.1解压nginx插件fastdfs-nginx-module,以及依赖包 pcre、zlib

  1. tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/
  2. tar -zvxf  pcre-8.34.tar.gz -C /usr/local/
  3. tar -zvxf zlib-1.2.8.tar.gz -C /usr/local/

7.2 解压安装nginx

  1. tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/

7.3 修改 fastdfs-nginx-module 的 config 配置文件

  1. vi /usr/local/fastdfs-nginx-module/src/config

改成这行

  1. CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

这里写图片描述

7.4 安装编译 Nginx 所需的依赖包

  1. yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

7.5 编译安装 Nginx（添加 fastdfs-nginx-module 模块）

  1. cd /usr/local/nginx-1.7.8/
  3. ./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/  --with-pcre=/usr/local/pcre-8.34/ --with-zlib=/usr/local/zlib-1.2.8/
  5. make
  7. make install

这里写图片描述
安装成功的话，结果和上图一样，无error信息

7.6 将FastDFS的nginx插件模块的配置文件copy到FastDFS配置文件目录

  1. cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf  /etc/fdfs/
  3. vi  /etc/fdfs/mod_fastdfs.conf

Storage 的 mod_fastdfs.conf 配置

  1. #include http.conf
  3. connect_timeout=10
  5. base_path=/tmp
  7. tracker_server=192.168.1.208:22122
  9. storage_server_port=23000
  11. group_name=group1
  13. url_have_group_name = true
  15. store_path0=/fastdfs/storage
  17. group_count = 1  #根据存储接口group数量设置  本例只有一组
  19. [group1]
  21. group_name=group1
  23. storage_server_port=23000
  25. store_path_count=1
  27. store_path0=/fastdfs/storage

7.7将fastdfs安装包中的http.conf、mime.types 两个文件拷贝到/etc/fdfs中

  1. cp /usr/local/FastDFS/conf/http.conf  /etc/fdfs/
  3. cp /usr/local/FastDFS/conf/mime.types  /etc/fdfs/

7.8 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

  1. ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

7.9 配置 Nginx

添加

  1. server {
  3.               listen 8888;
  5.               server_name localhost;
  7.               location /group1/M00 {
  9.             #alias /fastdfs/storage/data;
  11.             ngx_fastdfs_module;
  13.         }

修改配置后要重启nginx,并添加8888端口到防火墙

  1. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

重启防火墙:

  1. service iptables restart

测试访问之前上传的图片：
http://192.168.1.211:8888/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png

这里写图片描述
注意事项：
1、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应，

因为 http.server_port 默认为 8888,如果想改成 80，则要对应修改过来。

2、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，

对应的 Nginx 配置为：

  1. location ~/group([0-9])/M00 {
  3. ngx_fastdfs_module;
  5. }

3、如果下载时如发现老报 404，将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

8 跟踪器（Tracker）上安装Nginx(在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务)

8.1 安装编译 Nginx 所需的依赖包

  1. yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

8.2 编译安装 Nginx（添加 ngx_cache_purge 模块）
下载ngx_cache_purge-2.3.tar.gz并解压

  1. tar -zxvf ngx_cache_purge-2.3.tar.gz -C /usr/local/
  3. tar -zvxf nginx-1.7.8.tar.gz -C /usr/local/
  5. cd /usr/local/nginx-1.7.8/
  7. ./configure --prefix=/usr/local/nginx --add-module=/usr/local/ngx_cache_purge-2.3/
  9.  make && make install

8.3 配置 Nginx，设置负载均衡以及缓存

  1. vi /usr/local/nginx/conf/nginx.conf

修改nginx.conf (仅供参考，具体参数优化自行修改)

  1. #user nobody;
  2. worker_processes  1;
  4. events {
  6.     worker_connections  1024;
  7. }
  9. http {
  11.     include       mime.types;
  12.     default_type  application/octet-stream;
  13.     sendfile        on;
  14.     proxy_cache_path  /fastdfs/cache/nginx/proxy_cache  levels=1:2 keys_zone=cache1:200m inactive=1d max_size=10g;
  16.     upstream fdfs_group1 {
  18.                      server 192.168.1.211:8888 weight=1 max_fails=2 fail_timeout=30s;
  20.                      server 192.168.1.212:8888 weight=1 max_fails=2 fail_timeout=30s;
  22.               }
  24.        server{
  26.                      listen 8000;
  28.                      server_name localhost;
  30.                      #设置 group 的负载均衡参数
  32.                      location /group1/M00 {
  34.                             proxy_pass http://fdfs_group1;
  35.                      }
  37.                      #group2
  39.                      #group3
  41.                      #设置清除缓存的访问权限
  43.                      location ~/purge(/.*) {
  45.                             allow 127.0.0.1;
  47.                             allow 192.168.1.13;
  49.                             allow 192.168.1.0/24;
  51.                             deny all;
  53.                            # proxy_cache_purge http-cache $1$is_args$args;
  54.                             proxy_cache_purge    cache1 $host$1$is_args$args;
  55.                      }
  57.               }
  58. }

创建缓存目录

  1. mkdir -p /fastdfs/cache/nginx/proxy_cache

然后启动nginx并添加对应端口8000到防火墙

  1. vi /etc/sysconfig/iptables
  4. -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
  6.   重启防火墙
  8. service iptables restart

访问http://192.168.1.208:8000/group1/M00/00/00/wKgB01mVDFCAYQhLAABx7LgjO-Q374.png
能成功打开，说明配置成功。
这里写图片描述

发表评论

表情：
评论列表 （有 0 条评论，322人围观）

还没有评论，来说两句吧...

相关阅读

    相关 分布式文件系统FastDFS

    为什么要使用分布式文件系统呢？ 嗯，这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来往下看： 单机时代        初创时期由于时间紧迫，在各种资源有限

    清疚清疚/ 0 赞/ 469 阅读