【项目】仿牛客网社区开发第3章 Spring Boot 实践开发社区核心功能 1 过滤敏感词

怼烎@ 2024-03-22 11:00 24阅读 0赞

### 【项目】仿牛客网社区开发 ###

#### 文章目录 ####

*   *  【项目】仿牛客网社区开发
     *   *  第3章 Spring Boot 实践 开发社区核心功能
         *   *  1 过滤敏感词

![在这里插入图片描述][ce7c270e48ef4657a3e961e3825bfb81.png_pic_center]

#### 第3章 Spring Boot 实践 开发社区核心功能 ####

##### 1 过滤敏感词 #####

*  前缀树
    
     *  名称：Trie、字典树、查找树
     *  特点：查找效率高，消耗内存大
     *  应用：字符串检索、词频统计、字符串排序等
 *  敏感词过滤器 【做出这个工具】
    
     *  定义前缀树
     *  根据敏感词，初始化前缀树
     *  编写过滤敏感词的方

![在这里插入图片描述][64b94ca8d8f4481f824ef420884e1e58.png_pic_center]

【前缀树】到根节点才能算一个完整的敏感词。

![在这里插入图片描述][f66534fb159f4588bcfe4cd84108ee51.png_pic_center]

三个指针

![在这里插入图片描述][e29566d0790f4fc09796d0ab899f41ec.png_pic_center]

代码实现：

![在这里插入图片描述][75d4195f311a41319993496e6158a543.png_pic_center]

这里在resources 目录下定义了一个敏感词文件

package com.nowcoder.community.util;
    
    import org.apache.commons.lang3.CharUtils;
    import org.apache.commons.lang3.StringUtils;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.stereotype.Component;
    
    import javax.annotation.PostConstruct;
    import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.util.HashMap;
    import java.util.Map;
    
    /**
     * @Projectname: community
     * @Classname: SensitiveFilter
     * @Author: Ding Jiaxiong
     * @Date:2023/4/19 8:48
     */
    
    @Component
    public class SensitiveFilter {
        
    
        private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);
    
        // 替换符【检测到敏感词后进行替换】
        private static final String REPLACEMENT = "***";
    
        // 根节点
        private TrieNode rootNode = new TrieNode();
    
        @PostConstruct
        public void init() {
        
            try (
                    InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt");
                    BufferedReader reader = new BufferedReader(new InputStreamReader(is));
            ) {
        
                String keyword;
                while ((keyword = reader.readLine()) != null) {
        
                    // 添加到前缀树
                    this.addKeyword(keyword);
                }
            } catch (IOException e) {
        
                logger.error("加载敏感词文件失败: " + e.getMessage());
            }
        }
    
        // 将一个敏感词添加到前缀树中
        private void addKeyword(String keyword) {
        
            TrieNode tempNode = rootNode;
            for (int i = 0; i < keyword.length(); i++) {
        
                char c = keyword.charAt(i);
                TrieNode subNode = tempNode.getSubNode(c);
    
                if (subNode == null) {
        
                    // 初始化子节点
                    subNode = new TrieNode();
                    tempNode.addSubNode(c, subNode);
                }
    
                // 指向子节点,进入下一轮循环
                tempNode = subNode;
    
                // 设置结束标识
                if (i == keyword.length() - 1) {
        
                    tempNode.setKeywordEnd(true);
                }
            }
        }
    
        /**
         * 过滤敏感词
         *
         * @param text 待过滤的文本
         * @return 过滤后的文本
         */
        public String filter(String text) {
        
            if (StringUtils.isBlank(text)) {
        
                return null;
            }
    
            // 指针1
            TrieNode tempNode = rootNode;
            // 指针2
            int begin = 0;
            // 指针3
            int position = 0;
            // 结果
            StringBuilder sb = new StringBuilder();
    
            while (position < text.length()) {
        
                char c = text.charAt(position);
    
                // 跳过符号【如果敏感词之间穿插了图形符号，这样就不严谨，所以要特殊越过】
                if (isSymbol(c)) {
        
                    // 若指针1处于根节点,将此符号计入结果,让指针2向下走一步
                    if (tempNode == rootNode) {
        
                        sb.append(c);
                        begin++;
                    }
                    // 无论符号在开头或中间,指针3都向下走一步
                    position++;
                    continue;
                }
    
                // 检查下级节点
                tempNode = tempNode.getSubNode(c);
                if (tempNode == null) {
        
                    // 以begin开头的字符串不是敏感词
                    sb.append(text.charAt(begin));
                    // 进入下一个位置
                    position = ++begin;
                    // 重新指向根节点
                    tempNode = rootNode;
                } else if (tempNode.isKeywordEnd()) {
        
                    // 发现敏感词,将begin~position字符串替换掉
                    sb.append(REPLACEMENT);
                    // 进入下一个位置
                    begin = ++position;
                    // 重新指向根节点
                    tempNode = rootNode;
                } else {
        
                    // 检查下一个字符
                    position++;
                }
            }
    
            // 将最后一批字符计入结果
            sb.append(text.substring(begin));
    
            return sb.toString();
        }
    
        // 判断是否为符号
        private boolean isSymbol(Character c) {
        
            // 0x2E80~0x9FFF 是东亚文字范围
            return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
        }
    
        // 前缀树
        private class TrieNode {
        
    
            // 关键词结束标识
            private boolean isKeywordEnd = false;
    
            // 子节点(key是下级字符,value是下级节点)
            private Map<Character, TrieNode> subNodes = new HashMap<>();
    
            public boolean isKeywordEnd() {
        
                return isKeywordEnd;
            }
    
            public void setKeywordEnd(boolean keywordEnd) {
        
                isKeywordEnd = keywordEnd;
            }
    
            // 添加子节点
            public void addSubNode(Character c, TrieNode node) {
        
                subNodes.put(c, node);
            }
    
            // 获取子节点
            public TrieNode getSubNode(Character c) {
        
                return subNodes.get(c);
            }
    
        }
    
    }

![在这里插入图片描述][a590fa2f79ad40f9bcb75182c192a34c.png_pic_center]

来一个测试类

package com.nowcoder.community;
    
    import com.nowcoder.community.util.SensitiveFilter;
    import org.junit.Test;
    import org.junit.runner.RunWith;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.boot.test.context.SpringBootTest;
    import org.springframework.test.context.ContextConfiguration;
    import org.springframework.test.context.junit4.SpringRunner;
    
    /**
     * @Projectname: community
     * @Classname: SensitiveTests
     * @Author: Ding Jiaxiong
     * @Date:2023/4/19 9:05
     */
    
    @RunWith(SpringRunner.class)
    @SpringBootTest
    @ContextConfiguration(classes = CommunityApplication.class)
    public class SensitiveTests {
        
    
        @Autowired
        private SensitiveFilter sensitiveFilter;
    
        @Test
        public void testSensitiveFilter() {
        
            String text = "这里可以赌博,可以嫖娼,可以吸毒,可以开票,哈哈哈!";
            text = sensitiveFilter.filter(text);
            System.out.println(text);
    
            text = "这里可以☆赌☆博☆,可以☆嫖☆娼☆,可以☆吸☆毒☆,可以☆开☆票☆,哈哈哈!";
            text = sensitiveFilter.filter(text);
            System.out.println(text);
        }
    
    }

> 啊这，这真的可以发出来吗，CSDN 大大，我这里在做敏感词过滤测试，不是那啥

测试结果

![在这里插入图片描述][e0c8724116db417ca27b2a811136adc5.png_pic_center]

没毛病。敏感词全部替换成了\*\*\*

[ce7c270e48ef4657a3e961e3825bfb81.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/45d05b5324214accbb52d3d3fc12cf89.png
[64b94ca8d8f4481f824ef420884e1e58.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/71bee6eea8ad4a4e8e4d7ad4ed240f11.png
[f66534fb159f4588bcfe4cd84108ee51.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0d95868a1ba44012a0fa75e3bcdc9710.png
[e29566d0790f4fc09796d0ab899f41ec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/19927c75f7d144fd900d851cccccb179.png
[75d4195f311a41319993496e6158a543.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/bfc595b28ee04294949c846e6abcb58e.png
[a590fa2f79ad40f9bcb75182c192a34c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2a6089953b7b4cf7aefaccd4d185e43e.png
[e0c8724116db417ca27b2a811136adc5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/884fc542e9624cd9b4d4a9e20fec0c9c.png