CentOS安装FastDHT

曾经终败给现在 2022-12-23 14:26 107阅读 0赞

## 简介 ##

由于FastDFS本身不能对重复上传的文件进行去重，而FastDHT可以做到去重。FastDHT是一个高性能的分布式哈希系统，它是基于键值对存储的，而且它需要依赖于Berkeley DB作为数据存储的媒介，同时需要依赖于libfastcommon。

## 安装前准备 ##

yum install \
    vim \
    git \
    gcc \
    gcc-c++ \
    wget \
    make \
    automake \
    autoconf \
    libtool \
    libdb \
    libdb-devel \
    libevent \
    libevent-devel \
    -y

## 安装 libfastcommon ##

cd /usr/local/src
    git clone https://github.com/happyfish100/libfastcommon.git
    cd libfastcommon/
    ./make.sh
    ./make.sh install

## 安装Berkley db ##

cd /usr/local/src
    wget http://download.oracle.com/berkeley-db/db-6.2.23.tar.gz
    tar -zxvf db-6.2.23.tar.gz
    cd db-6.2.23
    ./dist/configure --prefix=/usr/local/db
    make
    make install

DB安装完毕，会在/usr/local目录下生成目录db。

## 安装FastDHT ##

cd /usr/local/src
    git clone https://github.com/happyfish100/fastdht.git
    cd fastdht
    #修改make.sh
    vim make.sh
    CFLAGS='-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE'
    #改为:
    CFLAGS='-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -I/usr/local/db/include/ -L/usr/local/db/lib/'
    ESC
    :wq
    ./make.sh
    ./make.sh install

## 修改配置文件 ##

1.  在/home/hc下面创建文件夹fdht。
2.  进入目录/etc/fdht，然后依次修改里面的三个文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW5naGVjYWk1MjE3MTMxNA_size_16_color_FFFFFF_t_70]

### fdht\_client.conf ###

vim /etc/fdht/fdht_client.conf
     
    #本选项关联 storaged.conf文件
    keep_alive=1
    base_path=/home/hc/fdht
    #include /etc/fdht/fdht_servers.conf
     
    ESC
    :wq

注：`#include /etc/fdht/fdht_servers.conf`前的\#表示打开，如果想关闭此选项，则应该为\#\#开头。 \#和include之间没有空格

### fdht\_servers.conf ###

vim /etc/fdht/fdht_servers.conf 
    group_count=1
    group0 = 172.16.85.129:11411 
    
    ESC
    :wq

### fdhtd.conf ###

vim /etc/fdht/fdhtd.conf
     
    bind_addr=172.16.85.129
    port=11411
    base_path=/home/hc/fdht
    cache_size=64MB
    #include /etc/fdht/fdht_servers.conf
     
    ESC
    :wq

注：`#include /etc/fdht/fdht_servers.conf`前的\#表示打开，如果想关闭此选项，则应该为\#\#开头。 \#和include之间没有空格

### 引入libdb.so ###

ln -s /usr/local/db/lib/libdb-6.2.so /usr/lib/libdb-6.2.so
    ln -s /usr/local/db/lib/libdb-6.2.so /usr/lib64/libdb-6.2.so

## 修改/etc/fdfs/目录下的storage.conf文件 ##

#是否检测上传文件已经存在。如果已经存在，则建立一个索引链接以节省磁盘空间
    check_file_duplicate=1
    #当上个参数设定为1时 ， 在FastDHT中的命名空间
    key_namespace=FastDFS
    #长连接配置选项，如果为0则为短连接 1为长连接
    keep_alive=1
    #此处特别需要注意配置
    #include /etc/fdht/fdht_servers.conf

## 启动FastDHT ##

/usr/local/bin/fdhtd /etc/fdht/fdhtd.conf

加入开机启动：

vim /etc/rc.local
    /usr/local/bin/fdhtd /etc/fdht/fdhtd.conf
    ESC
    :wq
    chmod +x /etc/rc.local

## 测试 ##

多次执行命令会去重：  
fdfs\_upload\_file /etc/fdfs/client.conf /usr/local/src/fastdfs-6.05/conf/anti-steal.jpg

依次上传多个文件：  
![在这里插入图片描述][20201228152913264.png]  
结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW5naGVjYWk1MjE3MTMxNA_size_16_color_FFFFFF_t_70 1]  
上传成功后返回路径，查看storage存储对应存储路径，发现返回的为一个软链接，之后每次重复上传都是返回一个指向第一次上传的文件的软链接。也就保证了文件只保存了一份。需要说明的是，FastDFS不会返回原始文件的索引，返回的全部都是软链接，当所有的软链接都被删除的时候，原始文件也会从FastDFS中被删除。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW5naGVjYWk1MjE3MTMxNA_size_16_color_FFFFFF_t_70]: /images/20221120/4db992b79ca742cea8994a8a0f05aa3c.png
[20201228152913264.png]: /images/20221120/a60219b5c95d4063b196ce8411753f7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpYW5naGVjYWk1MjE3MTMxNA_size_16_color_FFFFFF_t_70 1]: /images/20221120/d5bc141385794bd680442cbaa7e7ab44.png