FastDFS分布式文件系统

╰+攻爆jí腚メ 2021-12-10 19:34 608阅读 0赞

FastDFS是由淘宝的余庆先生所开发的一个轻量级、高性能的开源分布式文件系统。用纯C语言开发，功能丰富：

  • 文件存储
  • 文件同步
  • 文件访问（上传、下载）
  • 存取负载均衡
  • 在线扩容

适合有大容量存储需求的应用或系统。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

架构图
在这里插入图片描述

FastDFS两个主要的角色：Tracker Server 和 Storage Server 。

  • Tracker Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。
  • Storage Server：存储服务器，保存文件和文件的meta data（元数据），每个storage server会启动一个单独的线程主动向Tracker cluster中每个tracker server报告其状态信息，包括磁盘使用情况，文件同步情况及文件上传下载次数统计等信息
  • Group：文件组，多台Storage Server的集群。上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它所有机器上，起到备份的作用。不同组的服务器，保存的数据不同，而且相互独立，不进行通信。
  • Tracker Cluster：跟踪服务器的集群，有一组Tracker Server（跟踪服务器）组成。
  • Storage Cluster ：存储集群，有多个Group组成。

Linux安装与使用

所需文件：
在这里插入图片描述
1.2.1 安装GCC依赖

GCC用来对C语言代码进行编译运行，使用yum命令安装：

  1. sudo yum -y install gcc

1.2.2 安装unzip工具

unzip工具可以帮我们对压缩包进行解压

  1. sudo yum install -y unzip zip

1.2.3 安装libevent

  1. sudo yum -y install libevent

1.2.4 安装Nginx所需依赖

  1. sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel

1.2.5 安装libfastcommon-master

这个没有yum包，只能通过编译安装：

  • 解压刚刚上传的libfastcommon-master.zip
    tar -xvf libfastcommon-master.zip
  • 进入解压完成的目录：
    cd libfastcommon-master
  • 编译并且安装：
    sudo ./make.sh
    sudo ./makesh install

到这里为止，所有依赖都已经安装完毕，接下来我们安装FastDFS：

1.3 安装FastDFS

1.3.1 编译安装

这里我们也采用编译安装，步骤与刚才的编译安装方式一样：

  • 解压
    tar -xvf FastDFS_v5.08.tar.gz
  • 进入目录
    cd FastDFS
  • 编译并安装
    sudo ./make.sh
    sudo ./make.sh install
  • 校验安装结果

安装完成，应该能在/etc/init.d/目录，通过命令ll /etc/init.d/ | grep fdfs看到FastDFS提供的启动脚本

  • fdfs_trackerd 是tracker启动脚本
  • fdfs_storaged 是storage启动脚本

可以在 /etc/fdfs目录，通过命令查看到以下配置文件模板
在这里插入图片描述

1.3.2 启动tracker

FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

  • 编辑tracker配置

首先我们将模板文件进行赋值和重命名：

  1. sudo cp tracker.conf.sample tracker.conf
  2. sudo vim tracker.conf

打开tracker.conf，修改base_path配置：

  1. base_path=/donggua/fdfs/tracker # tracker的数据和日志存放目录
  • 创建目录

刚刚配置的目录可能不存在，我们创建出来

  1. sudo mkdir -p /donggua/fdfs/tracker

  • 启动tracker
    我们可以使用 sh /etc/init.d/fdfs_trackerd 启动，不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

    sudo service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop

另外，我们可以通过以下命令，设置tracker开机启动：

  1. sudo chkconfig fdfs_trackerd on

1.3.3 启动storage

我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

  • 编辑storage配置

首先我们将模板文件进行赋值和重命名：

  1. sudo cp storage.conf.sample storage.conf
  2. sudo vim storage.conf

打开storage.conf，修改base_path配置：

  1. base_path=/donggua/fdfs/storage # storage的数据和日志存放目录
  2. store_path0=/donggua/fdfs/storage # storage的上传文件存放路径
  3. tracker_server=192.168.56.101:22122 # tracker的地址
  • 创建目录

刚刚配置的目录可能不存在，我们创建出来

  1. sudo mkdir -p /donggua/fdfs/storage

  • 启动storage
    我们可以使用 sh /etc/init.d/fdfs_storaged 启动，同样我们可以用服务启动方式：

    sudo service fdfs_storaged start # 启动fdfs_storaged服务，停止用stop

另外，我们可以通过以下命令，设置tracker开机启动：

  1. sudo chkconfig fdfs_storaged on

nginx的FastDFS模块

解压文件

  1. tar -xvf fastdfs-nginx-module_v1.16.tar.gz

配置config文件

  1. # 进入配置目录
  2. cd /home/donggua/fdfs/fastdfs-nginx-module/src/
  3. # 修改配置
  4. vim config
  5. # 执行下面命令（将配置中的/usr/local改为/usr）：
  6. :%s+/usr/local/+/usr/+g

  • 配置mod_fastdfs.conf

    1. # 将src目录下的mod_fastdfs.conf复制到 /etc/fdfs目录：
    2. sudo cp mod_fastdfs.conf /etc/fdfs/
    3. # 编辑该文件
    4. sudo vim /etc/fdfs/mod_fastdfs.cof

  • 修改一下配置：

    1. connect_timeout=10                          # 客户端访问文件连接超时时长（单位：秒）
    2. tracker_server=192.168.56.101:22122      # tracker服务IP和端口
    3. url_have_group_name=true                    # 访问链接前缀加上组名
    4. store_path0=/leyou/fdfs/storage                # 文件存储路径

  • 复制 FastDFS的部分配置文件到/etc/fdfs目录

    1. cd /home/leyou/fdfs/FastDFS/conf/
    2. cp http.conf mime.types /etc/fdfs/

    1.4.2 nginx相关设置

    未安装过Nginx

  • 解压

    1. tar -xvf nginx-1.10.0.tar.gz

  • 配置

    1. sudo ./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/home/leyou/fdfs/fastdfs-nginx-module/src

  • 编译安装

    1. sudo make && sudo make install

    已安装过

    在这里插入图片描述

  • 配置nginx整合fastdfs-module模块

    我们需要修改nginx配置文件，在/opt/nginx/config/nginx.conf文件中：

    1. sudo vim  /opt/nginx/conf/nginx.conf

    将文件中，原来的server 80{ ...} 部分代码替换为如下代码：

    1. server {
    2.         listen       80;
    3.         server_name  image.taotao.com;
    5.         # 监听域名中带有group的，交给FastDFS模块处理
    6.         location ~/group([0-9])/ {
    7.             ngx_fastdfs_module;
    8.         }
    10.         location / {
    11.             root   html;
    12.             index  index.html index.htm;
    13.         }
    15.         error_page   500 502 503 504  /50x.html;
    16.         location = /50x.html {
    17.             root   html;
    18.         }
    20.     }

  • 启动

    1. nginx # 启动
    2. nginx -s stop # 停止
    3. nginx -s reload # 重新加载配置

  • 设置nginx开机启动

    创建一个开机启动的脚本：

    1. vim /etc/init.d/nginx

    添加以下内容：

    1. #!/bin/sh
    2. #
    3. # nginx - this script starts and stops the nginx daemon
    4. #
    5. # chkconfig:   - 85 15
    6. # description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
    7. #               proxy and IMAP/POP3 proxy server
    8. # processname: nginx
    9. # config:      /etc/nginx/nginx.conf
    10. # config:      /etc/sysconfig/nginx
    11. # pidfile:     /var/run/nginx.pid
    13. # Source function library.
    14. . /etc/rc.d/init.d/functions
    16. # Source networking configuration.
    17. . /etc/sysconfig/network
    19. # Check that networking is up.
    20. [ "$NETWORKING" = "no" ] && exit 0
    22. nginx="/usr/bin/nginx"
    23. prog=$(basename $nginx)
    25. NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"
    27. [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
    29. lockfile=/var/lock/subsys/nginx
    31. make_dirs() {
    32.    # make required directories
    33.    user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
    34.    if [ -n "$user" ]; then
    35.       if [ -z "`grep $user /etc/passwd`" ]; then
    36.          useradd -M -s /bin/nologin $user
    37.       fi
    38.       options=`$nginx -V 2>&1 | grep 'configure arguments:'`
    39.       for opt in $options; do
    40.           if [ `echo $opt | grep '.*-temp-path'` ]; then
    41.               value=`echo $opt | cut -d "=" -f 2`
    42.               if [ ! -d "$value" ]; then
    43.                   # echo "creating" $value
    44.                   mkdir -p $value && chown -R $user $value
    45.               fi
    46.           fi
    47.        done
    48.     fi
    49. }
    51. start() {
    52.     [ -x $nginx ] || exit 5
    53.     [ -f $NGINX_CONF_FILE ] || exit 6
    54.     make_dirs
    55.     echo -n $"Starting $prog: "
    56.     daemon $nginx -c $NGINX_CONF_FILE
    57.     retval=$?
    58.     echo
    59.     [ $retval -eq 0 ] && touch $lockfile
    60.     return $retval
    61. }
    63. stop() {
    64.     echo -n $"Stopping $prog: "
    65.     killproc $prog -QUIT
    66.     retval=$?
    67.     echo
    68.     [ $retval -eq 0 ] && rm -f $lockfile
    69.     return $retval
    70. }
    72. restart() {
    73.     configtest || return $?
    74.     stop
    75.     sleep 1
    76.     start
    77. }
    79. reload() {
    80.     configtest || return $?
    81.     echo -n $"Reloading $prog: "
    82.     killproc $nginx -HUP
    83.     RETVAL=$?
    84.     echo
    85. }
    87. force_reload() {
    88.     restart
    89. }
    91. configtest() {
    92.   $nginx -t -c $NGINX_CONF_FILE
    93. }
    95. rh_status() {
    96.     status $prog
    97. }
    99. rh_status_q() {
    100.     rh_status >/dev/null 2>&1
    101. }
    103. case "$1" in
    104.     start)
    105.         rh_status_q && exit 0
    106.         $1
    107.         ;;
    108.     stop)
    109.         rh_status_q || exit 0
    110.         $1
    111.         ;;
    112.     restart|configtest)
    113.         $1
    114.         ;;
    115.     reload)
    116.         rh_status_q || exit 7
    117.         $1
    118.         ;;
    119.     force-reload)
    120.         force_reload
    121.         ;;
    122.     status)
    123.         rh_status
    124.         ;;
    125.     condrestart|try-restart)
    126.         rh_status_q || exit 0
    127.             ;;
    128.     *)
    129.         echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
    130.         exit 2
    131. esac

  • 修改文件权限，并加入服务列表

    1. # 修改权限
    2. chmod 777 /etc/init.d/nginx 
    3. # 添加到服务列表
    4. chkconfig --add /etc/init.d/nginx

  • 设置开机启动

    1. chkconfig nginx on

java客户端的使用

1.引入依赖：

  1. <dependency>
  2.     <groupId>com.github.tobato</groupId>
  3.     <artifactId>fastdfs-client</artifactId>
  4. </dependency>

2.引入注册配置类

//自动注册fastDFS客户端

  1. @Configuration
  2. @Import(FdfsClientConfig.class)
  3. // 解决jmx重复注册bean的问题
  4. @EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
  5. public class FastClientImporter {
  6. }

3.配置

  1. fdfs:
  2.   so-timeout: 2500
  3.   connect-timeout: 600
  4.   thumb-image: # 缩略图尺寸
  5.     width: 60
  6.     height: 60
  7.   tracker-list: # tracker地址
  8.     - 47.108.69.93:22122

4.使用说明

  1. public class FdfsTest {
  3.     @Autowired
  4.     private FastFileStorageClient storageClient;
  6.     @Autowired
  7.     private ThumbImageConfig thumbImageConfig;
  9.     @Test
  10.     public void testUpload() throws FileNotFoundException {
  11.         File file = new File("/Users/vi-vibro/Pictures/百度云同步照片/2016-12-01 191914.jpg");
  12.         // 上传并且生成缩略图
  13. //        参数1:流 参数2：大小 参数3：后缀名
  14.         StorePath storePath = this.storageClient.uploadFile(
  15.                 new FileInputStream(file), file.length(), "jpg", null);
  16.         // 带分组的路径
  17.         System.out.println(storePath.getFullPath());
  18.         // 不带分组的路径
  19.         System.out.println(storePath.getPath());
  20.     }
  22.     @Test
  23.     public void testUploadAndCreateThumb() throws FileNotFoundException {
  24.         File file = new File("D:\\test\\baby.png");
  25.         // 上传并且生成缩略图
  26.         StorePath storePath = this.storageClient.uploadImageAndCrtThumbImage(
  27.                 new FileInputStream(file), file.length(), "png", null);
  28.         // 带分组的路径
  29.         System.out.println(storePath.getFullPath());
  30.         // 不带分组的路径
  31.         System.out.println(storePath.getPath());
  32.         // 获取缩略图路径
  33.         String path = thumbImageConfig.getThumbImagePath(storePath.getPath());
  34.         System.out.println(path);
  35.     }
  36. }

发表评论

表情：
评论列表 （有 0 条评论，608人围观）

还没有评论，来说两句吧...

相关阅读

    相关 分布式文件系统FastDFS

    为什么要使用分布式文件系统呢？ 嗯，这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来往下看： 单机时代        初创时期由于时间紧迫，在各种资源有限

    清疚清疚/ 0 赞/ 482 阅读