FastDFS 基本介绍和 Linux相关命令

电玩女神 2022-03-15 09:06 801阅读 0赞

**FastDFS知识点学习**

**这个软件是用来干嘛的？**

这个软件可以用来管理 成千上万台linux服务器上面的文件。说白了就是管理很多台机器上面的文件。

**能干这种事情的常见软件有：**

FastDFS 和 HDFS 。

1）一般的互联网项目存放文件都是用的FastDFS ，中小公司使用这个文件管理软件。

2）HDFS 在大数据的领域用的比较多。

**传统存储文件方式** 和 **分布式存储文件方式**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70][]

**什么是fastDFS？它是用来做什么的？**

（1）FastDFS其实就是一种数据库，存放图片，音乐的数据库。

（2）我们的mysql数据库只能存放信息，也就是数据库表中的一行行数据。

（3）我们的FastDFS是来存放 小型的图片、音乐等等资源的。

（4）像一个动态网站，网站中的 商品图片或者背景音乐的资源都是通过fastDFS来获取的。

（5）我们通过fastDFS软件 将 我们的 文件 存放进 磁盘 中，为什么我们要使用faseDFS呢？

我们存放文件的地方是磁盘，但是实际开发中 我们存放文件的磁盘是做集群的，也就是存放文件的地方 是 【磁盘集群】，我们通过fastDFS软件向磁盘集群中分发存放。

**FastDFS的优点：**

FastDFS解决了大数据量文件存储(这里经常有人说成大数据,我本人是不赞同的)和读写分离,备份容错,负载均衡,动态扩容等问题

**FastDFS适合那些网站使用？**

适合存储4KB~500MB之间的小文件，如图片网站、短视频网站、文档、app下载站等。

**传统的存储方式：**

所有的tomcat服务器都去同一个磁盘中读取和存放文件，那样就会有很多的IO操作，这样对磁盘的压力会很大，磁盘压力大了就有可能损毁，损毁了数据就丢失了。

**分布式存储方式：**

所有的tomcat服务器通过 fastDFS软件 来进行存储文件，fastDFS将文件存放在【磁盘集群】的不同的磁盘当中，这样子就减少了磁盘的压力。而且 每一个 磁盘的后面 都有一个属于 自己的 冗余备份，就算磁盘损坏了，我们还是有备份的。

**在我们的 p2p项目中的 应用 ：**

我们在 p2p 项目中，没完成一次交易 就会 生成一份合同，每一份合同 都是一张 pdf文件，所以成千上万的合同PDF文件我们就可以使用 fastDFS软件 将这些pdf文件存放进磁盘集群当中 。

**FastDFS中的【客户端】：**

我们java程序就是一个【客户端】，我们向项目中导入一个jar包，然后我们 通过 调用jar包中接口中的方法 来 使用 fastDFS软件 帮我们存放 文件。

**FastDFS中的【服务端】：**

服务端分为两部分【tracker】 和 【storage】。

【tracker】 ： 主要的任务就是调度。就和注册中心zookeeper差不多，因为tracker中存放着 磁盘中存放的文件的信息 。 当我们通过fastDFS存放文件的时候，这个文件的信息会保存在 tracker中，然后我们的tracker会将文件保存在storage中。当我们读取某个文件的时候，tracker会根据这个文件信息调取对应的文件。

【storage】 ： 保存 文件 和 文件的属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70 1][]

### **Linux 中 fastDFS的一些 可执行命令：** ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70 2][]

**因为我们的 /usr/bin 这个命令 是配置在PATH环境变量下的，所以我们的/usr/bin这个命令可以在任意的目录下直接使用。**

![20190301172454428.png][]

在linux中安装完fastDFS之后，所有的可执行文件存放在：/usr/bin 目录下。所有的配置文件存放在 /etc/fdfs目录下。

**Tracker.Conf配置文件中：**

![20190301172522683.png][]

这个base\_path就是用来存放 数据和log日志的目录 。

Storage.conf配置文件中：

![20190301172541320.png][]

这个base\_path主要是用来存放log日志的。

![2019030117255686.png][]

这个路径是真正存放文件的路径，为什么path后面有个0，因为这个store\_path可以指定多个：

如果我们要指定多个存放文件的路径，那么我们也要修改一下store\_path的数量：

![20190301172637138.png][]

我们写了两个store\_path:store\_path0,store\_path1

那么我们的 store\_path\_count=2 需要修改成2 。

![20190301172651508.png][]

我们storage 服务是注册在 那个tracker上面的，因为tarcker是负责调度的，所以tracker里面有 storage 中的文件信息 。

**启动 fastDFS的时候需要启动两个配置文件：**

tracker和storage这两个服务的配置文件，而且是有固定的启动顺序的。需要先启动tracker ，然后再启动 storage ，不能颠倒的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70 3][]

当我们运行storage配置文件的时候，fastDFS会为我们创建 256\*256的双层目录结构，然后我们存放的文件就会存放在: /02/22 这样的目录下。

文件存放的位置：

![2019030117272557.png][]

这样子就构成了 256\*256的路径数量。从而让每个文件夹下面的文件不会太多，减轻每个文件夹因为io操作所造成的压力。

**关闭fastDFS：**

我们关闭 fast DFS的时候 需要关闭两个 配置文件，因为我们开启fastDFS的时候开启了两个配置文件，分别为：tracher.conf 和 storage.conf ,所以我们关闭的时候需要管理这两个配置文件。

关闭的命令是： 开启的命令 stop，也就是：

fdfs\_tracherd /etc/fdfs/tracher.conf stop和 fdfs\_storaged /etc/fdfs/storage.conf stop 在线上环境中：我们不建议使用kill -9进行关闭。**因为可能会造成不同服务器中文件不同步的现象，造成的原因如下：**

线上环境中我们的服务器是分组的，可能分n个组，每个组中有 n个服务器，然后 我们通过一个服务器存放文件之后，会按照组的方式进行文件同步，同步到同一个组中所有的服务器中。如果存放的文件过大，同步的过程需要很长的时间，这时候使用kill -9 将fastDFS关闭了，那么组中有的服务器还没有同步完 就关闭了中断了，这样就会造成 有服务器中有这个文件，有的服务器中没有这个文件，这样就造成了服务器中文件的不同步。

**重启fastDFS：**

如果你只需要重启tracker 或者 storage 中的一个配置文件，那么就只需要restart一个配置文件，不需要像 开启fastdfs和关闭fastdfs一样操作两个配置文件。

**命令为：**

fdfs\_trackerd /etc/fdfs/tracker.conf restart

fdfs\_storaged /etc/fdfs/storage.conf restart

**小知识点：**

元数据 就是 用来描述数据信息的 数据。

**关于linux中根目录（家目录）的 问题：**

普通用户的家目录（根目录）：/home/用户名

Root用户的家目录：/root /root 这个目录你是找不到的。

![20190301172956272.png][]这时候所在的目录就是root目录下。

**测试 fastDFS 上传文件：**

所使用的命令： fdfs\_test /etc/fdfs/client.conf upload /root/aa.txt

aa.txt 文件存放的位置为：红线。

![20190301173822505.png][]

(1)因为我们就一个组，这个组里面256\*256的目录结构。

(2)因为就一个组，所以默认组名为 group1 。

(3)后面的 fiilname 是 文件存放的路径。

(4)/M00 这个是 虚拟的目录，这个目录我们是看不到的，因为这个目录是fastDFS来进行管理的。

(5)/00/00 这个是 两层包名 。 第一层有有256个包，每个包中又包含256个包，第一次包的包名为00，第二层包的包名为00，所以组成的路径为/00/00 。

(6) /wKjyglxkBuSAbT8iAAAAAc3XBpM982.txt 这个文件就是 aa.txt文件， 因为 我们 fastDFS要确保 我们保存的 文件名不能重复，是唯一的。

**下图是文件的请求地址：**

![20190301174138826.png][]

![20190301174154624.png][]

![20190301174211113.png][]

![2019030117422028.png][]

**上图是 文件上传测试后 测试结果：**

（1）3 是我们通过fastDFS存放的文件，因为fastDFS为了确保存放的文件在 组和目录中是唯一的不重复的，所以对我们的文件名进行了处理。

（2）1 2 4 是我们通过fastDFS 存放3文件时 同时产生的文件。

（3）

1）wKjyglxkBuSAbT8iAAAAAc3XBpM982.txt 是主文件 。

2）wKjyglxkBuSAbT8iAAAAAc3XBpM982\_big.txt 是从文件。

3)wKjyglxkBuSAbT8iAAAAAc3XBpM982.txt-m 文件 是 wKjyglxkBuSAbT8iAAAAAc3XBpM982.txt文件 属性文件，意思就是：wKjyglxkBuSAbT8iAAAAAc3XBpM982.txt-m中存放的是wKjyglxkBuSAbT8iAAAAAc3XBpM982.txt文件的各项属性的信息，比如文件的类型，高度和宽度等等属性的信息。

4)wKjyglxkBuSAbT8iAAAAAc3XBpM982\_big.txt-m 文件是 wKjyglxkBuSAbT8iAAAAAc3XBpM982\_big.txt文件的属性文件。

（4）但是我们只想 向 磁盘中存放 文件3,文件124我们是不想存储的，所以这样就很占用空间，所以我们在实际的开发中 只会存放 文件3 。

我们通过 fastDFS 存放 需要存放的文件之后，我们可以通过 日志打印给我们的 file url 来访问我们刚刚储存的 文件。但是这个url地址，是不能通过浏览器进行访问的，我们在地址栏中输入这段url地址之后 是无法访问 刚刚存放的文件的。 因为我们的 fastDFS是不能接受通过浏览器 发送过来的请求的，所以就更不能将文件中的内容显示在我们的浏览器中。

**如果想通过了浏览器来访问 存放进去的 文件，解决方法如下：**

![20190301174451269.png][]

**分布式系统中的单点故障问题：**

![2019030117452422.png][]

**分布式系统有哪些优点：**

![2019030117453943.png][]

**文件同步 ：** 就是 文件备份，将文件同步（备份）到另一个磁盘中去。

**我们写了一套程序去访问fastdfs，这个程序就是客户端。**

**（1）Tracker 会将 一些storage的一些信息存放在内存中，存放的信息是：有多少个节点，节点的ip地址和端口等等，因为是存放在内存中，所以tracker的效率很高。**

**（2）Storage 就是用来存放 文件 和 文件的属性的文件，将这两个文件存放在 服务器磁盘中。**

**因为 tracker处于 java程序和storage之间，所以我们只需要跟 tracker打交道就行了。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70]: /images/20220315/0009c096ede74f4c8e515e025ddf621f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70 1]: /images/20220315/07bb930b5af44a06808bee48575e20c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70 2]: /images/20220315/fffe4c31dcf141aba0fbffa3484770f0.png
[20190301172454428.png]: /images/20220315/46181298156f4930a90abc866b5f0d41.png
[20190301172522683.png]: /images/20220315/74409ceb11e94271a87f5669fa5f495d.png
[20190301172541320.png]: /images/20220315/c933d4ce112a4a76be8bb9cc1908e925.png
[2019030117255686.png]: /images/20220315/000c3f9bd6994382b0c141a760f2c633.png
[20190301172637138.png]: /images/20220315/4acc90b87b8c4ea4adf455831c5089ae.png
[20190301172651508.png]: /images/20220315/150259051024484cb86003fe588bc0d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FtZWlyX3lhbmc_size_16_color_FFFFFF_t_70 3]: /images/20220315/f5902dd2baf348a3ac4e13c061c2c7dd.png
[2019030117272557.png]: /images/20220315/83db1a2cc9d54c5fa8787207f610e9d8.png
[20190301172956272.png]: /images/20220315/93bfaed62738483eb9cb2f556bd5a74d.png
[20190301173822505.png]: /images/20220315/aefced17a19d4aaaa47bcbda3128b8df.png
[20190301174138826.png]: /images/20220315/40294983255d4a07b8cf1f7f12c57bc1.png
[20190301174154624.png]: /images/20220315/5b3a7b71a4254f55bc946b65902143ab.png
[20190301174211113.png]: /images/20220315/4ea954d34d284ba3a648362547f66caf.png
[2019030117422028.png]: /images/20220315/f7810ab6da5748258e46edf167602819.png
[20190301174451269.png]: /images/20220315/4304c276a20d4ef5a4432baf61bb6351.png
[2019030117452422.png]: /images/20220315/0f7122b5752949699d6e975f27bb9ee9.png
[2019030117453943.png]: /images/20220315/d11910660a5f414e8e0be6242d748abd.png