FastDFS教程（一）：安装部署集群详细教程

我会带着你远行 2023-10-09 11:45 94阅读 0赞

#### 第一步，确定目标 ####

Tracker 192.168.43.144:22122 Ubuntu

Group1-Storage11 192.168.43.201:23001 Ubuntu

Group1-Storage12 192.168.43.183:23001 Ubuntu

Group2-Storage21 192.168.43.154:23000 Ubuntu

Group2-Storage22 192.168.43.75:23000 Ubuntu

虽然上述集群结构中tracker 是单一节点，如果在生产环境中，这是不正确的，但是现在我们着钥匙想通过这次的搭建熟悉基本的搭建流程，所以此处就暂时忽略吧。

#### 第二步，确定安装版本 ####

如上图可以看出，截止到2015年5月17，fastdfs的最新版本是5.05，区别于以往版本，这个版本将公共的一些函数等单独封装成了libfastcommon这个jar包，所以在安装fastdfs之前，我们必须安装libfastconmmon。

同时，我们搭建完成的分布式环境，还需要nginx帮忙实现http访问以及负载均衡、缓存等功能，涉及了nginx-1.7.8.tar.gz,fastdfs-nginx-module\_v1.16.tar.gz,ngx\_cache-purge-2.1.tar.gz。

#### 第三步，文件夹初始化 ####

按照我们第一步确认的目标，我们可以现在自由选择一个路径，创建一些文件夹目录，这些目录后边会在配置tracker和storage的过程中被用到。我在用虚拟机创建的时候，是在/opt这个目录下面创建相关的文件夹，详细如下，仅供参考：

1.  配置tracker所需的base\_path:/opt/fastdfs\_tracker。
2.  配置storage所需要的日志记录：/opt/fastdfs\_storage\_info。备注:这个目录是用来存储storage之间同步文件等日志的
3.  配置storage所需要的存储文件目录:/opt/fastdfs\_storage\_data。备注:这个目录是用来存储文件的

其实，我们在使用过程中并不是每个物理机上都会同时部署tracker和storage，那么根据自己的实际情况，如果值部署storage，则就创建storage的那两个文件夹；反之则只创建tracker的那个文件夹。后边在解释配置文件如何配置的过程中我将会按照上边的目录路径做配置，大家可以对比着看每个路径对应哪个配置。

#### 第四步，安装libfastcommon-1.0.7.zip.gz: ####

在安装libfastcommon的过程中，涉及了解压缩、make安装等过程，第一次安装的时候，可能由于环境的原因，会提示比如没有安装unzip、zip;没有安装perl；没有安装gcc等，逐一安装即可。

1.  下载 libfastcommon-1.0.7.tar.gz 压缩包，并解压  
    wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz  
    tar -xvf V1.0.7.tar.gz
2.  解压完成后，进入文件夹，会看到 make.sh 文件，执行./make.sh命令，可能会报错没有安装gcc和perl的错误，根据提示安装上可以
3.  执行make.sh 成功后，执行./make.sh install命令，完成libfastcommon的安装。  
    lj@ubuntu:~/Desktop/libfastcommon-1.0.7$ sudo ./make.sh install  
    mkdir -p /usr/lib64  
    install -m 755 libfastcommon.so /usr/lib64  
    mkdir -p /usr/include/fastcommon  
    install -m 644 common\_define.h hash.h chain.h logger.h base64.h shared\_func.h pthread\_func.h ini\_file\_reader.h \_os\_bits.h sockopt.h sched\_thread.h http\_func.h md5.h local\_ip\_func.h avl\_tree.h ioevent.h ioevent\_loop.h fast\_task\_queue.h fast\_timer.h process\_ctrl.h fast\_mblock.h connection\_pool.h /usr/include/fastcommon  
    lj@ubuntu:~/Desktop/libfastcommon-1.0.7$
4.  注意，上述安装的路径在/usr/lib64/,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以需要创建软连接如下：  
    ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so  
    ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so  
    ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so  
    ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

#### 第五步，安装 fastfds-5.05.tar.gz ####

前面几步安装的都正确的话，这一步就比较简单了，解压缩fastdfs-5.05.tar.gz然后

依次执行./make.sh和./make.sh install这两个命令，过程中没有报错，并且打开/etc/fdfs这个目录发现有配置文件子在，就说明安装成功了。

1.  下载 fastfds-5.05.tar.gz
    
    wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz  
    tar -xvf V5.05.tar.gz
2.  编译安装
    
    lj@ubuntu:~/Desktop$ cd fastdfs-5.05/  
    lj@ubuntu:~/Desktop/fastdfs-5.05$ sudo ./make.sh  
    …  
    lj@ubuntu:~/Desktop/fastdfs-5.05$ sudo ./make.sh install
    
    查看配置文件 cd /etc/fdfs

#### 第六步，配置tracker ####

前边的这六步无论是配置tracker还是配置storage都是必须的，而tracker和storage的区别主要是在安装完fastdfs之后的配置过程中。我们在第一步确认目标时，计划在192.168.43.144这台虚拟机上配置tracker，所以我们在这台机器上演示。

1.  进入/etc/fdfs文件夹，执行命令：cp tracker.conf.sample tracker.conf
2.  编辑tracker.conf,执行命令：vim tracker.conf,将以下几个选项进行编辑；
    
    1.  disabled=false \#启用配置文件
    2.  port=22122 \#设置tracker的端口号，一般采用22122这个默认端口
    3.  base\_path=/opt/fastdfs\_tracker \#设置tracker的数据文件和日志目录（预先创建）
    4.  http.server\_port=8080 \#设置http端口号 注意，这个配置在 fastdfs5.05这个版本中已经不用配置了，不用管这个！
3.  启动tracker，执行如下命令:/usr/bin/fdfs\_trackerd /ect/fdfs/tracker.conf restart  
    注意，一般fdfs\_trackerd等命令在/usr/local/bin中没有，而是在/usr/bin路径下，所以命令修改如下：/usr/bin/fdfs\_trackerd /etc/fdfs/tracker.conf restart
4.  启动完毕后，可以通过以下两个方法查看tracker是否启动成功：
    
    1.  sudo netstat -tunlp |grep 22122 ，查看22122端口占用情况
    2.  通过以下命令查看tracker的启动日志，看是否有错误：  
        tail -100f /opt/fastdfs\_tracker/logs/trackerd.log
    3.  如果启动没有问题，可以通过以下步骤，将tracker的启动添加到服务器的开机启动中：
        
        1.  打开文件vim /etc/rc.local
        2.  将如下命令添加到该文件中/usr/bin/fdfs\_trackerd /etc/fdfs/tracker.conf restart

#### 第七步，配置 storage ####

其实配置storage和配置tracker类似，只不过配置文件和配置内容不一样。我们配置192.168.43.201配置storage为例。

1.  进入/etc/fdfs文件夹，执行命令：cp storage.conf.sample storage.conf。
2.  编辑storage.conf，执行命令:vim storage.conf，将以下几个选项进行编辑：
    
    1.  disabled=false \#启用配置文件
    2.  group\_name=group1 \#组名，根据实际情况修改
    3.  port=23001 \#设置storage的端口号，默认是23000，同一个组的storage端口号必须一致
    4.  base\_path=/opt/fastdfs\_storage\_info \#设置storage的日志目录（需预先创建）
    5.  store\_path\_count=1 \#存储路径个数，需要和store\_path个数匹配
    6.  store\_path0=/opt/fastdfs\_storage\_data \#存储路径
    7.  tracker\_server=192.168.43.144:22122 \#tracker服务器的IP地址和端口号
    8.  http.server\_port=8080. \#设置http端口号 注意，这个配置在fastdfs5.05这个版本中已经不用配置，不用管这个！
3.  启动storage，执行如下命令：/usr/bin/fdfs\_storaged /etc/fdfs/storage.conf restart  
    注意，一般fdfs\_storage等命令在/usr/local/bin中没有，而是在/usr/bin路径下，所以命令修改如下/usr/bin/fdfs\_storaged /etc/fdfs/storage.conf restart
4.  启动完毕后，可以通过以下方法查看tracker是否启动成功：
    
    1.  sudo netstat -tunlp |grep 23001 ，查看23001端口占用情况
    2.  如果启动没有问题，可以通过以下步骤，将tracker的启动添加到服务器的开机启动中：
        
        1.  打开文件vim /etc/rc.local
        2.  将如下命令添加到该文件中/usr/bin/fdfs\_storaged /etc/fdfs/storage.conf restart

--------------------

#### 总结 ####

以上八步其实已经完成了fastdfs的配置，如果此时你用Java等api编辑客户端，实际上就可以完成文件上传、同步和下载。但是为什么网上还会有很多人说需要nginx呢？？？其实主要原因是因为，我们可以通过配置nginx为下载提供基于 http协议的下载等功能。

其实，storage中安装nginx，主要是为了提供http的访问服务，同时解决group中storage服务器的同步延迟问题。而tracker中安装nginx，主要是为了提供http访问的反向代理、负载均衡以及缓存服务

#### 第八步，安装nginx的准备： ####

不管是在tracker中还是storage中安装nginx，前提都需要安装好一些基础软件。一些大公司的服务器默认都会初始化这些软件，但是你在配置的时候可能还是最好自己利用命令确认一下。

1.  apt-get install gcc
2.  apt-get install libpcre3 libpcre3-dev
3.  apt-get install zlib1g zlib1g-dev
4.  apt-get install openssl libssl-dev

#### 第九步，在storage中安装nginx ####

1.  创建nginx默认的安装文件夹：nkdir /usr/local/nginx  
    下载nginx  
    wget http://nginx.org/download/nginx-1.10.2.tar.gz  
    下载fastdfs-nginx-module\_v1.16.tar.gz  
    wget https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module\_v1.16.tar.gz
2.  提前将nginx1.7.8.tar.gz和 fastdfs-nginx-module\_v1.16.tar.gz 解压缩，然后进入nginx1.7.8的文件夹目录，执行如下命令：  
    sudo ./configure --prefix=/usr/local/nginx --add-module=/home/lj/Desktop/fastdfs-nginx-module/src
3.  执行完上述命令，如果没有报错的话，我们继续执行make命令，此时编译会报错，那是我们忘了做一项重要工作，我们可以参考这篇文章解决办法中解答，其实汇总就是下面两个意思

#include "fdfs_define.h"
                                 ^
        compilation terminated.
        make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] Error 1
        make[1]: Leaving directory `/home/lj/Desktop/nginx-1.10.2'
        make: *** [build] Error 2

> 1.  我们在解压缩fastdfs-nginx-module\_v1.16.tar.g之后，需要进入fastdfs-nginx-module/src目录下， 编辑config文件，找到包含CORE\_INCS这一行，将路径中的local全部去掉，变为CORE\_INCS="$CORE\_INCS /usr/include/fastdfs /usr/include/fastcommon/"
> 2.  建立软连接，这个软连接，我们在第四步安装libfastconmmon时的最后一个操作已经建立了，所以 此处不在建立了。

1.  执行完3个步骤后，我们重复执行2中的命令，然后再依次执行make和make install这两个命令，没有报错误就时安装成功了。
2.  执行命令 cd /usr/local/nginx/conf,编辑nginx.conf这个文件 sudo vim nginx.conf，编辑如下：

listen 8080;
           
           在server段中添加：
           
           location ~/group[1-3]/M00{ 
           root /fdfs/storage/data;
           ngx_fastdfs_module; }

注意，如果配置的storage是在group1组，则下面的location应该是~/group1/M00

1.  执行命令 cd /home/lj/Desktop/fastdfs-5.05/conf, 即进入fastdfs5.05的安装文件夹的conf目录下，  
    将目录下面的http.conf和mime.types拷贝到/etc/fdfs/下，如果不执行这一步，后边在启动nginx时会报错。  
    lj@ubuntu:~/Desktop/fastdfs-5.05/conf$ sudo cp http.conf mime.types /etc/fdfs/
2.  执行命令 cd /home/lj/Desktop/fastdfs-nginx-module/src，即进入fastdfs- nginx-module\_v1.16的安装文件夹的src目录下， 将目录下面的mod\_fastdfs.conf  
    lj@ubuntu:~/Desktop/fastdfs-nginx-module/src$ sudo cp mod\_fastdfs.conf /etc/fdfs
3.  打开/etc/fdfs这个目录，编辑mod\_fastdfs.conf这个文件，如下：  
    注意以下配置是group1的第一个storage 192.168.43.201的配置，按照第一步确定的集群目标来配置的，供大家参考。

a.  base_path=/opt/fastdfs_storage_info		 #保存日志目录
       b.  tracker_server= 192.168.43.144:22122	 #tracker服务器的IP地址以及端口号
       c.  storage_server_port=23001		 #storage服务器的端口号
       d.  group_name=group1 			#当前服务器的group名
       c.  url_have_group_name= true 		#文件url 中是否有group名
       d.  store_path_count=1 		#存储路径个数，需要和store_path个数匹配
       e.  store_path0=/opt/fastdfs_storage_data		 #存储路径
       f.  http.need_find_content_type=true	#从文件扩展名查找文件类型（nginx是为true）注意这个配置网上一般都会列出，但是在fastdfs5.05的版本中是没有的
       h.  group_count= 2 		#设置组的个数

i. 在文件结尾，按照第一步确定的集群目标，追加如下图的配置：

# since v1.14
           group_count = 2
           # group settings for group #1
           # since v1.14
           # when support multi-group, uncomment following section
           [group1]
           group_name=group1
           storage_server_port=23001
           store_path_count=2
           store_path0=/opt/fastdfs_storage_data
           store_path1=/opt/fastdfs_storage_data
           
           # group settings for group #2
           # since v1.14
           # when support multi-group, uncomment following section as neccessary
           [group2]
           group_name=group2
           storage_server_port=23000
           store_path_count=2
           store_path0=/opt/fastdfs_storage_data
           store_path1=/opt/fastdfs_storage_data

1.  建立软连接  
    ln -s /opt/fastdfs\_storage\_data/data /opt/fastdfs\_storage\_data/data/M00
2.  执行命令启动nginx: /usr/local/nginx/sbin/nginx，如果/usr/local/nginx/logs/error.log中没有 报错，同时访问192.168.43.201:8080这个url能看到nginx的欢迎页面。

### 第十一步，在tracker中安装nginx ###

注意,tracker中nginx安装时比storage中的nginx安装时多安装一个nginx的缓存模块，同时在配置的时候有很大的不同。

1.  创建nginx默认的安装文件夹：mkdir /usr/local/nginx
2.  提前将nginx1.7.8.tar.gz、fastdfs-nginx-module\_v1.16.tar.gz、ngx\_cache\_purge-2.1.tar.gz下载，并解压

sudo wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz 
           sudo wget http://nginx.org/download/nginx-1.10.2.tar.gz
           sudo wget https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

然后进入nginx1.7.8的文件夹目录，执行如下命令：

sudo ./configure --prefix=/usr/local/nginx --add-module=/home/lj/Desktop/ngx_cache_purge-2.3

1.  执行完上述命令，如果没有报错的话，我们继续执行make命令，此时编译会报错，那是我们忘了做一项重要工作，我们可以参考这篇文章解决办法中解答，其实汇总就是下面两个意思
    
    \#include “fdfs\_define.h”  
    ^  
    compilation terminated.  
    make\[1\]: \*\*\* \[objs/addon/src/ngx\_http\_fastdfs\_module.o\] Error 1  
    make\[1\]: Leaving directory \`/home/lj/Desktop/nginx-1.10.2’  
    make: \*\*\* \[build\] Error 2

1.  执行完3个步骤后，我们重复执行2中的命令，然后再依次执行make和make install这两个命令，没有报错误就时安装成功了。
2.  执行命令 cd /usr/local/nginx/conf，编辑nginx.conf这个文件，编辑如下：

#user  nobody;
           worker_processes  1;
           
           #error_log  logs/error.log;
           #error_log  logs/error.log  notice;
           #error_log  logs/error.log  info;
           
           #pid        logs/nginx.pid;
           
           
           events {
               worker_connections  1024;
           }
           
           
           http {
               include       mime.types;
               default_type  application/octet-stream;
           
               #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
               #                  '$status $body_bytes_sent "$http_referer" '
               #                  '"$http_user_agent" "$http_x_forwarded_for"';
           
               #access_log  logs/access.log  main;
           
               sendfile        on;
               tcp_nopush     on;
           
               #keepalive_timeout  0;
               keepalive_timeout  65;
           
               #gzip  on;
           
               server_names_hash_bucket_size 128;
               client_header_buffer_size 32k;
               large_client_header_buffers 4 32k;
           
               client_max_body_size 300m;
           
               proxy_redirect off;
               proxy_set_header Host $http_host;
               proxy_set_header X-Real-IP $remote_addr;
               proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
           
               proxy_connect_timeout 90;
               proxy_send_timeout 90;
               proxy_read_timeout 90;
           
               proxy_buffer_size 16k;
               proxy_buffers 4 64k;
               proxy_busy_buffers_size 128k;
               proxy_temp_file_write_size 128k;
           
               proxy_cache_path /opt/cache/nginx/proxy_cache levels=1:2 
               keys_zone=http-cache:500m max_size=10g inactive=30d;
               proxy_temp_path /opt/cache/nginx/proxy_cache/tmp;
           
               upstream fdfs_group1 {
                    server 192.168.43.201:8080 weight=1 max_fails=2 fail_timeout=30s;
                    server 192.168.43.183:8080 weight=1 max_fails=2 fail_timeout=30s;
               }
           
               upstream fdfs_group2 {
                   server 192.168.43.154:8080 weight=1 max_fails=2 fail_timeout=30s;
                  	server 192.168.43.75:8080 weight=1 max_fails=2 fail_timeout=30s;
               }
           
               server {
                   listen       8080;
                   server_name  localhost;
           
                   #charset koi8-r;
           
                   #access_log  logs/host.access.log  main;
           
                   location /group1/M00 {
                       proxy_next_upstream http_502 http_504 error timeout invalid_header;
                       proxy_cache http-cache;
                       proxy_cache_valid  200 304 12h;
                       proxy_cache_key $uri$is_args$args;
                       proxy_pass http://fdfs_group1;
                       expires 30d;
                   }
           
                   location /group2/M00 {
                       proxy_next_upstream http_502 http_504 error timeout invalid_header;
                       proxy_cache http-cache;
                       proxy_cache_valid  200 304 12h;
                       proxy_cache_key $uri$is_args$args;
                       proxy_pass http://fdfs_group2;
                       expires 30d;
                   }
           
                   location ~/purge(/.*) {
                       allow 127.0.0.1;
                       allow 192.168.43.0/24;
                       deny all;
                       proxy_cache_purge http-cache  $1$is_args$args;
                   }     
           
                   #error_page  404              /404.html;
           
                   # redirect server error pages to the static page /50x.html
                   #
                   error_page   500 502 503 504  /50x.html;
                   location = /50x.html {
                       root   html;
                   }
           
                   # proxy the PHP scripts to Apache listening on 127.0.0.1:80
                   #
                   #location ~ \.php$ {
                   #    proxy_pass   http://127.0.0.1;
                   #}
           
                   # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
                   #
                   #location ~ \.php$ {
                   #    root           html;
                   #    fastcgi_pass   127.0.0.1:9000;
                   #    fastcgi_index  index.php;
                   #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
                   #    include        fastcgi_params;
                   #}
           
                   # deny access to .htaccess files, if Apache's document root
                   # concurs with nginx's one
                   #
                   #location ~ /\.ht {
                   #    deny  all;
                   #}
               }
           
               # another virtual host using mix of IP-, name-, and port-based configuration
               #
               #server {
               #    listen       8000;
               #    listen       somename:8080;
               #    server_name  somename  alias  another.alias;
           
               #    location / {
               #        root   html;
               #        index  index.html index.htm;
               #    }
               #}
           
           
               # HTTPS server
               #
               #server {
               #    listen       443 ssl;
               #    server_name  localhost;
           
               #    ssl_certificate      cert.pem;
               #    ssl_certificate_key  cert.key;
           
               #    ssl_session_cache    shared:SSL:1m;
               #    ssl_session_timeout  5m;
           
               #    ssl_ciphers  HIGH:!aNULL:!MD5;
               #    ssl_prefer_server_ciphers  on;
           
               #    location / {
               #        root   html;
               #        index  index.html index.htm;
               #    }
               #}
           
           }

1.  执行命令启动nginx: /usr/local/nginx/sbin/nginx ，如果/usr/local/nginx/logs/error.log中没有报错，同时访问192.168.224.20:8080这个url能看到 nginx的欢迎页面。

#### 第十一步，测试上传: ####

1.  打开 /etc/fdfs 文件夹，编辑 client.conf 文件，编辑内容如下:  
    a. base\_path=/opt/fastdfs\_tracker \#存放路径  
    b. tracker\_server=192.168.43.144:22122 \#tracker服务器IP地址和端口号  
    c. http.tracker\_server\_port=8080 \#tracker服务器的http端口号，注意，这个配置在fastdfs5.0.5中已经没有用了
2.  1.  模拟上传文件，执行如下命令: /usr/bin/fdfs\_upload\_file /etc/fdfs/client.conf /opt/1.txt
    2.  使用浏览器访问返回的url: http://192.168.43.144:8080/group1/M00/00/00/wKjgGlVYgi6AAv3tAAAADv4ZzcQ572.txt
    3.  也可以直接访问文件所在的storage: http://192.168.43.201:8080/group1/M00/00/00/wKjgGlVYgi6AAv3tAAAADv4ZzcQ572.txt
    4.  上述如果访问成功，会在 tracker 192.168.43.144 的 /opt/cache中产生缓存  
        我们还可以通过在url中添加purge清除缓存，例如: http://192.168.43.144:8080/purge/group1/M00/00/00/wKjgGlVYgi6AAv3tAAAADv4ZzcQ572.txt

总结

tracker 服务器没有开启 nginx ，也能通过http访问，它内置了web服务器但是不好用。
    
    一定要开启nginx。

参考链接

http://blog.csdn.net/lynnlovemin/article/details/39398043 fastdfs集群的配置教程

http://blog.csdn.net/poechant/article/details/6977407 fastdfs系列教程

http://m.blog.csdn.net/blog/hfty290/42030339 tracker-leader的选举