SpringBoot整合FastDFS笔记

桃扇骨 2024-03-16 21:56 190阅读 0赞

SpringBoot整合FastDFS笔记

  1. FastDFS是国人余庆开发的一个的分布式存储系统，github地址是https://github.com/happyfish100/fastdfs
  3. FastDFS的特性:
  5. 1、分组存储，灵活简洁、对等结构，不存在单点
  7. 2、 文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的name server
  9. 3、和流行的web server无缝衔接，FastDFS已提供apache和nginx扩展模块
  11. 4、大、中、小文件均可以很好支持，支持海量小文件存储
  13. 5、 支持多块磁盘，支持单盘数据恢复
  15. 6、 支持相同文件内容只保存一份，节省存储空间
  17. 7、 存储服务器上可以保存文件附加属性
  19. 8、 下载文件支持多线程方式，支持断点续传
  21. FastDFS部署教程可以参考
  22. https://www.jb51.net/article/251253.htm

springboot整合fastDFS的物料准备：

1.java项目配置fastdfs

2.定义工具类

3.测试使用效果

java项目配置fastdfs

引入fastdfs-client相关依赖

  1. <dependency>
  2.             <groupId>cn.hutool</groupId>
  3.             <artifactId>hutool-all</artifactId>
  4.             <version>5.7.8</version>
  5.         </dependency>
  7.         <dependency>
  8.             <groupId>com.github.tobato</groupId>
  9.             <artifactId>fastdfs-client</artifactId>
  10.             <version>1.26.7</version>
  11.         </dependency>

配置项目yml文件

  1. fdfs:
  2.   so-timeout: 5000 # 读取时间
  3.   connect-timeout: 5000 #连接超时
  4.   # 生成缩略图参数
  5.   thumb-image:
  6.     width: 50
  7.     height: 50
  8. # 支持配置多个存储节点    
  9.   tracker-list:
  10.     - 10.1.5.212:22122

启动类配置

  1. package com.example.demo;
  2. import com.github.tobato.fastdfs.FdfsClientConfig;
  3. import org.mybatis.spring.annotation.MapperScan;
  4. import org.springframework.boot.SpringApplication;
  5. import org.springframework.boot.autoconfigure.SpringBootApplication;
  6. import org.springframework.context.annotation.Import;
  8. @Import({
  9.     FdfsClientConfig.class,cn.hutool.extra.spring.SpringUtil.class})
  10. @MapperScan(basePackages = {
  11.     "com.example.demo.orm.dao"})
  12. @SpringBootApplication
  13. public class DemoApplication {
  16.     public static void main(String[] args) {
  18.         SpringApplication.run(DemoApplication.class, args);
  19.     }
  20. }

定义fdfs工具类

  1. package com.example.demo.util;
  3. import cn.hutool.core.io.file.FileNameUtil;
  4. import cn.hutool.core.util.StrUtil;
  5. import com.github.tobato.fastdfs.domain.fdfs.StorePath;
  6. import com.github.tobato.fastdfs.domain.proto.storage.DownloadByteArray;
  7. import com.github.tobato.fastdfs.service.FastFileStorageClient;
  8. import lombok.extern.slf4j.Slf4j;
  9. import org.springframework.beans.factory.annotation.Autowired;
  10. import org.springframework.stereotype.Component;
  11. import org.springframework.web.multipart.MultipartFile;
  13. import java.io.*;
  14. import java.nio.charset.StandardCharsets;
  16. @Component
  17. @Slf4j
  18. public class FdfsTools {
  20.     @Autowired
  21.     private FastFileStorageClient fastFileStorageClient;
  24.     /**
  25.      * 文件上传, byte 流类型
  26.      *
  27.      * @param bytes     文件字节
  28.      * @param fileSize  文件大小
  29.      * @param extension 文件扩展名
  30.      * @return fastDfs路径
  31.      */
  32.     public String uploadFile(byte[] bytes, long fileSize, String extension) {
  34.         ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
  35.         StorePath storePath = fastFileStorageClient.uploadFile(
  36.                 byteArrayInputStream,
  37.                 fileSize,
  38.                 extension,
  39.                 null);
  40.         return storePath.getFullPath();
  41.     }
  43.     /**
  44.      * MultipartFile类型的文件上传ַ
  45.      *
  46.      * @param file
  47.      * @return
  48.      * @throws IOException
  49.      */
  50.     public String uploadFile(MultipartFile file) throws IOException {
  52.         StorePath storePath = fastFileStorageClient.uploadFile(
  53.                 file.getInputStream(),
  54.                 file.getSize(),
  55.                 FileNameUtil.getSuffix(file.getOriginalFilename()),
  56.                 null);
  57.         return storePath.getFullPath();
  58.     }
  60.     /**
  61.      * 普通文件上传
  62.      *
  63.      * @param file
  64.      * @return
  65.      * @throws IOException
  66.      */
  67.     public String uploadFile(File file) throws FileNotFoundException {
  69.         FileInputStream inputStream = new FileInputStream(file);
  70.         StorePath path = fastFileStorageClient.uploadFile(
  71.                 inputStream,
  72.                 file.length(),
  73.                 FileNameUtil.getSuffix(file),
  74.                 null);
  75.         return path.getFullPath();
  76.     }
  79.     public String createFileAndUpload(String sourceFilePath) throws Exception {
  81.         File file = new File(sourceFilePath);
  82.         return uploadFile(file);
  83.     }
  85.     /**
  86.      * 带输入流形式的文件上传
  87.      *
  88.      * @param inputStream
  89.      * @param size
  90.      * @param fileName
  91.      * @return
  92.      */
  93.     public String uploadFile(InputStream inputStream, long size, String fileName) {
  95.         StorePath path = fastFileStorageClient.uploadFile(inputStream, size, fileName, null);
  96.         return path.getFullPath();
  97.     }
  99.     /**
  100.      * 将一段文本文件写到fastdfs的服务器上
  101.      *
  102.      * @param content
  103.      * @param fileExtension
  104.      * @return
  105.      */
  106.     public String uploadFile(String content, String fileExtension) {
  108.         byte[] buff = content.getBytes(StandardCharsets.UTF_8);
  109.         ByteArrayInputStream stream = new ByteArrayInputStream(buff);
  110.         StorePath path = fastFileStorageClient.uploadFile(stream, buff.length, fileExtension, null);
  111.         return path.getFullPath();
  112.     }
  114.     /**
  115.      * 下载文件
  116.      *
  117.      * @param fileUrl 文件URL
  118.      * @return 文件字节
  119.      */
  120.     public byte[] downloadFile(String fileUrl) {
  122.         String group = fileUrl.substring(0, fileUrl.indexOf("/"));
  123.         String path = fileUrl.substring(fileUrl.indexOf("/") + 1);
  124.         DownloadByteArray downloadByteArray = new DownloadByteArray();
  125.         log.info("fdfs下载文件的group:{}",group);
  126.         log.info("fdfs下载文件的path:{}",path);
  127.         return fastFileStorageClient.downloadFile(group, path, downloadByteArray);
  128.     }
  130.     public void deleteFile(String fileUrl) {
  132.         if (StrUtil.isBlank(fileUrl)) {
  134.             return;
  135.         }
  136.         try {
  138.             StorePath storePath = StorePath.parseFromUrl(fileUrl);
  139.             fastFileStorageClient.deleteFile(storePath.getGroup(), storePath.getPath());
  140.         } catch (Exception e) {
  142.             log.error("", e);
  143.         }
  144.     }
  145. }

测试使用效果

  1. package com.example.demo;
  3. import cn.hutool.core.io.IoUtil;
  4. import cn.hutool.core.io.file.FileNameUtil;
  5. import com.example.demo.util.FdfsTools;
  6. import lombok.extern.slf4j.Slf4j;
  7. import org.springframework.beans.factory.annotation.Autowired;
  8. import org.springframework.web.bind.annotation.*;
  9. import org.springframework.web.multipart.MultipartFile;
  10. import org.springframework.web.multipart.MultipartHttpServletRequest;
  12. import javax.servlet.ServletOutputStream;
  13. import javax.servlet.http.HttpServletResponse;
  14. import java.io.ByteArrayInputStream;
  15. import java.io.IOException;
  16. import java.nio.charset.StandardCharsets;
  17. import java.util.ArrayList;
  18. import java.util.List;
  19. import java.util.Map;
  21. @Slf4j
  22. @RestController
  23. public class FdfsTestController {
  27.     @Autowired
  28.     private FdfsTools fdfsTools;
  30.     /**
  31.      * 下载fastdfs里的文件
  32.      * http://localhost:8621/mybatis/download?fullPath=group1/M00/64/AF/CgEF1GSSpkGACiJlAAvqH-Poukk892.jpg
  33.      * @param fullPath
  34.      * @param response
  35.      * @throws IOException
  36.      */
  37.     @GetMapping("/download")
  38.     public void download(@RequestParam String fullPath, HttpServletResponse response) throws IOException {
  40.         byte[] bytes = fdfsTools.downloadFile(fullPath);
  41.         String name = FileNameUtil.getName(fullPath);
  42.         System.out.println(name);
  43.         response.setHeader("Content-Disposition",
  44.                 "attachment;filename=" + new String(name.getBytes(), StandardCharsets.ISO_8859_1));
  45.         ByteArrayInputStream inputStream = new ByteArrayInputStream(bytes);
  46.         ServletOutputStream ops = response.getOutputStream();
  47.         IoUtil.copy(inputStream, ops);
  48.         IoUtil.closeIfPosible(inputStream);
  49.         IoUtil.closeIfPosible(ops);
  50.     }
  53.     /**
  54.      * 前端单文件上传 form-data形式参数， 传1个 MultipartFile类型，参数名file
  55.      * @param multipartFile
  56.      * @return
  57.      * @throws IOException
  58.      */
  59.     @PostMapping("/uploadOne")
  60.     public String upload(@RequestPart("file") MultipartFile multipartFile) throws IOException {
  62.         System.out.println(multipartFile.getOriginalFilename());
  63.         String s = fdfsTools.uploadFile(multipartFile);
  64.         return "fullPath=" + s;
  65.     }
  67.     /**
  68.      * 前端多文件上传  form-data形式参数 传多个MultipartFile类型,参数名随意
  69.      * @param request
  70.      * @return
  71.      * @throws IOException
  72.      */
  73.     @PostMapping("/uploadBatch")
  74.     public List<String> uploadBatch(MultipartHttpServletRequest request) throws IOException {
  76.         List<String> result = new ArrayList<>();
  77.         Map<String, MultipartFile> fileMap = request.getFileMap();
  78.         for (MultipartFile multipartFile : fileMap.values()) {
  80.             if (!multipartFile.isEmpty()){
  82.                 System.err.println(multipartFile.getOriginalFilename());
  83.                 String s = fdfsTools.uploadFile(multipartFile);
  84.                 result.add("fullPath=" +s);
  85.             }
  86.         }
  87.         return result;
  88.     }
  91.     /**
  92.      * 将一段文本文件写到fastdfs的服务器上
  93.      * @param content
  94.      * @return fullPath=group1/M00/64/AF/CgEF1GSSqdGAHrO4AAAAD0mMR3c910.txt
  95.      */
  96.     @PostMapping("/saveTxtToFdfs")
  97.     public String saveTxtToFdfs(@RequestParam String content){
  99.         String s = fdfsTools.uploadFile(content, "txt");
  100.         return "fullPath=" +s;
  101.     }
  103.     /**
  104.      * 删除FastDfs上的文件
  105.      * http://localhost:8621/mybatis/delFile?fullPath=group1/M00/64/AF/CgEF1GSSpnKAY3CiAAvea9v85c0615.jpg
  106.      * @param fullPath
  107.      * @return
  108.      */
  109.     @DeleteMapping("/delFile")
  110.     public String deleteFastDfsFile(@RequestParam String fullPath){
  112.         fdfsTools.deleteFile(fullPath);
  113.         return "ok!";
  114.     }
  116. }

测试上传单个文件
在这里插入图片描述
测试上传多个文件
在这里插入图片描述
测试删除FastDFS里已上传的文件
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

    相关 springboot整合fastdfs

    在项目开发中经常会碰到做文件上传的功能，一般来说，文件上传的步骤就那么几步，前台通过提交一个选中的文件，后端对文件做处理然后将文件上传至指定的地址，这个地址是一个真实的物理存储

    朱雀朱雀/ 0 赞/ 137 阅读