SprngBoot整合tika做文件类型检测

短命女 2023-10-12 18:59 21阅读 0赞

#### 目录 ####

*  1.免登陆上传接口安全性风险和建议
 *  2.Apache Tika 介绍
 *   *  2.1 主要功能
     *  2.2 主要项目
 *  3.整合tika
 *   *  3.1 pomxml引入依赖
     *  3.2 tika的使用
     *   *  3.2.1 第一版demo代码
         *  3.2.2 最终版完整代码

最近开发的一个项目需要将上传接口放开，做了很多安全性的工作，这个文件类型检测是其中的一环，趁着最近有空，就记录一下。

## 1.免登陆上传接口安全性风险和建议 ##

免登录上传接口面临各种风险：恶意文件上传、DoS攻击、数据泄露、文件名注入攻击、隐藏文件上传…等。对应的防御策略如过滤和限制文件类型、限制文件大小、避免上传文件被执行、重命名文件、服务器端做入侵检测、上传文件病毒扫描…等,系统的安全需要多方面考虑，并不断优化和完善才行，今天主要介绍tika的使用，就不拓展更多了，有兴趣的朋友可以自行去了解，后面有空可能也会写一写。

## 2.Apache Tika 介绍 ##

[ Apache Tika][Apache Tika] 是一个开源的内容检测和分析框架，由Apache软件基金会开发和维护的顶级项目。它可以从各种格式的文件中提取元数据和文本内容。Tika非常适合处理全文搜索、内容分析、翻译、内容提取等需要大量处理和分析文档内容的任务。

### 2.1 主要功能 ###

Apache Tika的主要功能：

1.  **内容检测**：通过检查文件内容或文件扩展名，Tika能够准确地判断文件的媒体类型（MIME类型）。
2.  **元数据提取**：Tika能够从各种媒体类型的文件中提取元数据，比如标题、作者、时间戳等。
3.  **内容提取**：Tika能够从文件中提取出文本、图片等内容。
4.  **语言检测**：Tika可以检测文本内容的语言。
5.  **格式转换**：Tika可以将各种格式的文件转换为XHTML内容。

### 2.2 主要项目 ###

1.  **tika-core**: 这是Tika的核心库，提供了Tika API的主要接口和类，例如内容检测、元数据提取、内容提取等。此外，它还提供了一些工具类来处理MIME类型和字符集等。
2.  **tika-parsers**: 这个库包含了Tika可以使用的所有解析器。每一个解析器都是针对一种特定的文件格式（如PDF，Word，Excel，PowerPoint，HTML，XML，RTF，EPUB等）。这些解析器依赖于其他一些专门用于处理这些格式的库，如PDFBox，POI等。
3.  **tika-app**: 这是一个命令行应用程序，集成了tika-core和tika-parsers的功能，你可以使用它来在命令行中直接处理文件。
4.  **tika-server:** 这是一个RESTful服务，提供了Tika的所有功能。你可以在网络上任何地方使用它来处理文件。
5.  **tika-bundle:** 这是一个包含了tika-core和tika-parsers的大型jar包，方便你在项目中直接使用Tika的所有功能。
6.  **tika-langdetect:** 这个库提供了一种方法来检测文本内容的语言。
7.  **tika-translate:** 这个库提供了一种方法来翻译文本内容。
8.  \*\*tika-dl: \*\*这个库提供了一种方法来使用深度学习模型处理文件。

Tika的项目彼此之间有着紧密的关系。tika-core是所有其他项目的基础，tika-parsers为core提供了具体的解析功能，app、server和bundle等则是提供了不同形式的使用接口。其余的一些项目，如langdetect、translate和dl，则提供了更加特化的功能。

## 3.整合tika ##

### 3.1 pomxml引入依赖 ###

<dependency>
        <groupId>org.apache.tika</groupId>
        <artifactId>tika-core</artifactId>
        <version>2.8.0</version>
    </dependency>

### 3.2 tika的使用 ###

#### 3.2.1 第一版demo代码 ####

public static void main(String[] args) {
        
        File file = new File("E:\\software\\ab.png");
    
        // 使用Tika检测文件类型
        MediaType mediaType;
        String mediaTypeExtension;
        String extName = getFileExtension(file.getName());
        try (TikaInputStream tis = TikaInputStream.get(file)) {
        
            mediaType = TikaConfig.getDefaultConfig().getDetector().detect(tis, new Metadata());
            mediaTypeExtension = MimeTypes.getDefaultMimeTypes().forName(mediaType.toString()).getExtension();
            mediaTypeExtension = mediaTypeExtension.replace(".", "");
        } catch (IOException | MimeTypeException e) {
        
            throw new RuntimeException("Could not read file", e);
        }
        if (!mediaTypeExtension.equals(extName)) {
        
            log.info("不匹配");
        } else {
        
            log.info("匹配");
        }
        log.info("MediaType>>>>{}",mediaType);
        log.info("type>>>>{}",mediaType.getType());
        log.info("mediaTypeExtension>>>>{}",mediaTypeExtension);
        log.info("extName>>>>{}",extName);
    }
    
    private static String getFileExtension(String fileName) {
        
    int dotIndex = fileName.lastIndexOf(".");
    if (dotIndex == -1) {
        
    throw new CheckedException("文件名无扩展名，无法确定文件类型");
    }
    // 不包含点，所以使用dotIndex + 1
    return fileName.substring(dotIndex + 1);
    }

运行结果：  
![图片.png][.png]这里我使用了lombok的注解@Slf4j打印日志，没有引入的直接是java自带的 打印即可，这里的判断是正确的，现在我们直接修改文件的后缀再测试，ab.png修改为ab.gif：  
![图片.png][.png 1]  
运行结果如下：![图片.png][.png 2]  
校验结果也是正确的，避免了不必要的类型上传到服务器。  
但是这里要注意，**tika会将魔数值相同的后缀类型标准化**，比如jpeg,jif等会被标准化成jpg，修改代码测试：  
![图片.png][.png 3]  
运行结果：  
![图片.png][.png 4]我们可以追溯一下代码：  
![图片.png][.png 5]![图片.png][.png 6]第一个是框架自带的类型映射，第二个是自定义的类型映射，这个我还没自己动手弄过，因为官方提供的已经够使用了，然后我们打开tika-mimetypes.xml看一下：  
![图片.png][.png 7]而直接获取getExtension的方法如下  
![图片.png][.png 8]所以我们需要调整一下代码，我们看到这个类里还有一个getExtensions方法，获取这一个映射下的所有类型  
![图片.png][.png 9]修改代码：  
![图片.png][.png 10]![图片.png][.png 11]运行结果：  
![图片.png][.png 12]

#### 3.2.2 最终版完整代码 ####

@Slf4j
    @UtilityClass
    public class FileDetectUtils {
        
    
        /**
         * 文件大小
         */
        private static final long MAX_FILE_SIZE = 10485760L;
        private static final List<String> MEDIA_TYPE_LIST = Lists.newArrayList("image","video");
        private static final Detector DETECTOR = TikaConfig.getDefaultConfig().getDetector();
    
        /**
         * 文件检测
         * @param file
         * @return
         */
        public void detect(MultipartFile file) {
        
            // 检查文件大小
            if (file.getSize() > MAX_FILE_SIZE) {
        
                throw new CheckedException("上传文件过大,请上传低于" + MAX_FILE_SIZE + "文件");
            }
            // 检查文件名 以.开头的文件不支持上传
            isValidFileName(file.getOriginalFilename());
            String extension = getFileExtension(file.getOriginalFilename());
    
            // 使用Tika检测文件类型
            MediaType mediaType;
            List<String> mediaTypeExtensions;
            try (TikaInputStream tis = TikaInputStream.get(file.getBytes())) {
        
                mediaType = DETECTOR.detect(tis, new Metadata());
                if (!MEDIA_TYPE_LIST.contains(mediaType.getType())) {
        
                    log.error("不支持的文件类型,type:{}", mediaType.getType());
                    throw new CheckedException("不支持的文件类型");
                }
                mediaTypeExtensions = MimeTypes.getDefaultMimeTypes().forName(mediaType.toString()).getExtensions();
            } catch (IOException e) {
        
                log.error("Could not read file", e);
                throw new CheckedException("请上传正确的文件类型");
            } catch (MimeTypeException e) {
        
                log.error("Could not get extension for media type", e);
                throw new CheckedException("请上传正确的文件类型");
            }
            // 验证文件类型
            if (!mediaTypeExtensions.contains(extension.toLowerCase())) {
        
                throw new CheckedException("文件类型已被修改，不支持上传");
            }
    
            // 如果需要，你可以在这里添加更深入的文件内容检查
            // 例如，对于PDF文件，你可能希望检查是否包含JavaScript或宏
        }
    
        /**
         * 校验文件名
         * @param fileName
         */
        private void isValidFileName(String fileName) {
        
            if (null == fileName) {
        
                throw new CheckedException("文件名不能为空");
            }
            // 简单的文件名检查，需要根据需求进行修改
            if (fileName.startsWith(StrUtil.DOT)) {
        
                throw new CheckedException("不支持以.开头的文件");
            }
        }
    
        /**
         * 因为tika解析出的文件后缀带了.   所以此处不去除
         * @param fileName
         * @return
         */
        private static String getFileExtension(String fileName) {
        
            int dotIndex = fileName.lastIndexOf(".");
            if (dotIndex == -1) {
        
                throw new CheckedException("文件名无扩展名，无法确定文件类型");
            }
            // 包含点，所以使用dotIndex
            return fileName.substring(dotIndex);
        }
    }

a.我在其他地方做了文件重命名，如果你有需要，也可以使用UUID等工具重命名。  
b.我这里限定两个主类型，image和video，你也可以使用子类型来限定，调整下代码即可

[Apache Tika]: https://github.com/apache/tika
[.png]: https://img-blog.csdnimg.cn/img_convert/f9db9455a8fa206831c97b75adbcea36.png#averageHue=#2e2f2e&clientId=u8932dbaf-ec18-4&from=paste&height=159&id=ue0395918&originHeight=173&originWidth=1149&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=56202&status=done&style=none&taskId=u6c2dd42e-3ea5-4db6-bc3c-a1bd8ee7f28&title=&width=1053.25
[.png 1]: https://img-blog.csdnimg.cn/img_convert/cb1a67d77635d3c022b75f4e29f1bb30.png#averageHue=#2d2f2d&clientId=u8932dbaf-ec18-4&from=paste&height=118&id=uecc6d398&originHeight=129&originWidth=858&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=19855&status=done&style=none&taskId=u6b62b8a9-9894-4e2d-bc3e-73a191739b2&title=&width=786.5000000000001
[.png 2]: https://img-blog.csdnimg.cn/img_convert/f1f8076dd8c8d036f1a508dceded32ab.png#averageHue=#2d2e2d&clientId=u8932dbaf-ec18-4&from=paste&height=168&id=u4fdafe42&originHeight=183&originWidth=1214&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=54495&status=done&style=none&taskId=u33f13536-f48e-4130-9ab1-068d6dad827&title=&width=1112.8333333333335
[.png 3]: https://img-blog.csdnimg.cn/img_convert/1b2ddc4faad5f150d198c62312de2cbb.png#averageHue=#2d2f2d&clientId=u8932dbaf-ec18-4&from=paste&height=82&id=uabf1a2cc&originHeight=89&originWidth=755&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=16210&status=done&style=none&taskId=u106a6aec-09ad-408e-8ba2-b4b777aab8c&title=&width=692.0833333333334
[.png 4]: https://img-blog.csdnimg.cn/img_convert/2e11e27cf992075186124b100426df14.png#averageHue=#2e2f2e&clientId=u8932dbaf-ec18-4&from=paste&height=147&id=u0c9728d4&originHeight=160&originWidth=1102&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=50300&status=done&style=none&taskId=ua81f93ef-002a-4e5f-874c-892721d9d11&title=&width=1010.1666666666667
[.png 5]: https://img-blog.csdnimg.cn/img_convert/66c9c891ae2243065d9fad8094e1a2b0.png#averageHue=#2e302f&clientId=u8932dbaf-ec18-4&from=paste&height=155&id=u70996c26&originHeight=169&originWidth=1195&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=54578&status=done&style=none&taskId=u9ca59979-0aeb-4565-a39c-186756eeee6&title=&width=1095.4166666666667
[.png 6]: https://img-blog.csdnimg.cn/img_convert/9cf14d04af84cdbed55f3e772d64b3ba.png#averageHue=#2d2f2e&clientId=u8932dbaf-ec18-4&from=paste&height=435&id=u1ed15d93&originHeight=474&originWidth=1273&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=106602&status=done&style=none&taskId=u613cf656-1027-4832-bf61-78d441225a4&title=&width=1166.9166666666667
[.png 7]: https://img-blog.csdnimg.cn/img_convert/bf89313b1425443f8d3887b423c572f6.png#averageHue=#313331&clientId=u8932dbaf-ec18-4&from=paste&height=549&id=ub053f5ed&originHeight=599&originWidth=1097&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=164774&status=done&style=none&taskId=u00405d98-7de5-4bc0-a935-e374ae44aa3&title=&width=1005.5833333333334
[.png 8]: https://img-blog.csdnimg.cn/img_convert/5e5357889828a548d1eccbc122804031.png#averageHue=#2d2e2d&clientId=u8932dbaf-ec18-4&from=paste&height=87&id=u62361dc7&originHeight=95&originWidth=992&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=16101&status=done&style=none&taskId=ud9f9e360-e8c6-4f35-8986-039dd69d5e3&title=&width=909.3333333333334
[.png 9]: https://img-blog.csdnimg.cn/img_convert/d61eefdd1d85a51fe632396f6cc8e08b.png#averageHue=#2d2e2d&clientId=u8932dbaf-ec18-4&from=paste&height=311&id=u4ff05a7d&originHeight=339&originWidth=1281&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=65545&status=done&style=none&taskId=u93aa8f31-b776-4c80-80d7-c27ca46cc03&title=&width=1174.25
[.png 10]: https://img-blog.csdnimg.cn/img_convert/6c1de9939219219feb41db22cabb217c.png#averageHue=#2d2f2d&clientId=u8932dbaf-ec18-4&from=paste&height=417&id=ufd3448fe&originHeight=455&originWidth=1192&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=92811&status=done&style=none&taskId=u08bc58de-5267-451a-8ecd-7f70fbd1612&title=&width=1092.6666666666667
[.png 11]: https://img-blog.csdnimg.cn/img_convert/26fdb9aae15479a9606aed4eae2ce660.png#averageHue=#2d302e&clientId=u8932dbaf-ec18-4&from=paste&height=229&id=uc2845cb5&originHeight=250&originWidth=818&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=45199&status=done&style=none&taskId=u5cf2301d-6baa-480c-99d1-c64ac4ff188&title=&width=749.8333333333334
[.png 12]: https://img-blog.csdnimg.cn/img_convert/8258067b6b398e6508596ef571d187ae.png#averageHue=#2d2e2d&clientId=ucdc59d8f-210c-4&from=paste&height=197&id=u77ba589f&originHeight=215&originWidth=1043&originalType=binary&ratio=1.0909090909090908&rotation=0&showTitle=false&size=40537&status=done&style=none&taskId=u2e7724e6-e827-4c53-9b00-a71fee5b35f&title=&width=956.0833333333334