FASTDFS 文件同步

以你之姓@ 2021-06-26 16:06 422阅读 0赞

## 文件同步延迟问题的提出 ##

客户端将一个文件上传到一台`Storage server`后，文件上传工作就结束了。由该`Storage server`根据`binlog`中的上传记录将这个文件同步到同组的其他`Storage server`。这样的文件同步方式是异步方式，异步方式带来了文件同步延迟的问题。新上传文件后，在尚未被同步过去的`Storage server`上访问该文件，会出现找不到文件的现象。`FastDFS`是如何解决文件同步延迟这个问题的呢？

文件的访问分为两种情况：文件更新和文件下载。文件更新包括设置文件附加属性和删除文件。文件的附加属性包括文件大小、图片宽度、图片高度等。`FastDFS`中，文件更新操作都会优先选择源`Storage server`，也就是该文件被上传到的那台`Storage server`。这样的做法不仅避免了文件同步延迟的问题，而且有效地避免了在多台`Storage server`上更新同一文件可能引起的时序错乱的问题。

## 那么文件下载是如何解决文件同步延迟这个问题的呢？ ##

要回答这个问题，需要先了解文件名中包含了什么样的信息。`Storage server`生成的文件名中，包含了源`Storage server`的IP地址和文件创建时间等字段。文件创建时间为`UNIX`时间戳，后面称为文件时间戳。从文件名或文件`ID`中，可以反解出这两个字段。

然后我们再来看一下，`Tracker server`是如何准确地知道一个文件已被同步到一台`Storage server`上的。前面已经讲过，文件同步采用主动推送的方式。另外，每台`storage server`都会定时向`tracker server`报告它向同组的其他`storage server`同步到的文件时间戳。当`tracker server`收到一台`storage server`的文件同步报告后，它会依次找出该组内各个`storage server`（后称作为`S`）被同步到的文件时间戳最小值，作为`S`的一个属性记录到内存中。

## `FastDFS`对文件同步延迟问题的解决方案 ##

下面我们来看一下`FastDFS`采取的解决方法。

一个最简单的解决办法，和文件更新一样，优先选择源`Storage server`下载文件即可。这可以在`Tracker server`的配置文件中设置，对应的参数名为`download_server`。

另外一种选择`Storage server`的方法是轮流选择（`round-robin`）。当`Client`询问`Tracker server`有哪些`Storage server`可以下载指定文件时，`Tracker server`返回满足如下四个条件之一的`Storage server`：

1、该文件上传到的源`Storage server`，文件直接上传到该服务器上的；

2、`文件创建时间戳 < Storage server被同步到的文件时间戳`，这意味着当前文件已经被同步过来了；

3、`文件创建时间戳=Storage server被同步到的文件时间戳`，且`（当前时间—文件创建时间戳） > 一个文件同步完成需要的最大时间`（如5分钟）；

4、`（当前时间—文件创建时间戳） > 文件同步延迟阈值`，比如我们把阈值设置为1天，表示文件同步在一天内肯定可以完成。