Lucene-----查看分词结果

ゝ一世哀愁。 2022-08-23 08:28 268阅读 0赞 
  1. /**
  2.   * 获取指定分词器的分词结果
  3.   * 
  4.   * @param analyzeStr
  5.   *            要分词的字符串
  6.   * 
  7.   * @param analyzer
  8.   *            分词器
  9.   * 
  10.   * @return 分词结果
  11.   */
  12. public List<String> getAnalyseResult(String analyzeStr, Analyzer analyzer) {
  13.     List<String> response = new ArrayList<String>();
  14.     TokenStream tokenStream = null;
  15.     try {
  16.         tokenStream = analyzer.tokenStream("content", new StringReader(analyzeStr));
  17.         CharTermAttribute attr = tokenStream.addAttribute(CharTermAttribute.class);
  18.         tokenStream.reset();
  19.         while (tokenStream.incrementToken()) {
  20.             response.add(attr.toString());
  21.         }
  22.     } catch (IOException e) {
  23.         e.printStackTrace();
  24.     } finally {
  25.         if (tokenStream != null) {
  26.             try {
  27.                 tokenStream.close();
  28.             } catch (IOException e) {
  29.                 e.printStackTrace();
  30.             }
  31.         }
  32.     }
  33.     return response;
  34. }

发表评论

表情：
评论列表 （有 0 条评论，268人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Lucene中文分词Jcseg

    Jcseg是使用Java开发的一款开源的中文分词器, 基于流行的mmseg算法实现，分词准确率高达98.4%, 支持中文人名识别, 同义词匹配, 停止词过滤等。并且提供了最新版

    ╰半橙微兮°╰半橙微兮°/ 0 赞/ 301 阅读

    相关 Lucene中文分词介绍

    由于lucene自带的分词方式对中文分词十分的不友好，所以在对一段中文中的某个词组进行搜索时，需要在创建索引是对其进行分词。下面介绍一些常见的中文分词器。 一、IK Ana

    朱雀朱雀/ 0 赞/ 381 阅读