lucene（索引的建立）

我就是我 2022-06-17 02:11 355阅读 0赞

# lucene的使用(索引的创建)    #

索引过程的核心类：IndexWriter,Directory,Analyzer,Document,Field

准备的jar包：

<dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-core</artifactId>
        <version>3.5.0</version>
    </dependency>

首先提供简单的索引创建实例，代码如下：

Directory directory = FSDirectory.open(new File("索引文件存放的位置"));
          IndexWriter writer = new IndexWriter(directory, new IndexWriterConfig(Version.LUCENE_35, new StandardAnalyzer(Version.LUCENE_35)));
          File file = new File("d:/lucene/example");// 此处作者使用的是本地的文件作为数据
          Document doc = null;
          Random ran = new Random();
          int index = 0;
          for (File f : file.listFiles()) {
               int score = ran.nextInt(600);
               doc = new Document();
               doc.add(new Field("id", String.valueOf(index++), Field.Store.YES,Field.Index.NOT_ANALYZED_NO_NORMS)); 
               doc.add(new Field("content", new FileReader(f))); 
               doc.add(new Field("filename", f.getName(), Field.Store.YES,Field.Index.NOT_ANALYZED)); 
               doc.add(new Field("path", f.getAbsolutePath(), Field.Store.YES,Field.Index.NOT_ANALYZED)); 
               doc.add(new NumericField("date", Field.Store.YES, true).setLongValue(f.lastModified())); 
               doc.add(new NumericField("size", Field.Store.YES, true).setIntValue((int) (f.length()))); 
               doc.add(new NumericField("score", Field.Store.NO, true).setIntValue(score)); 
               writer.addDocument(doc);
             } 
           writer.close();

**索引的删除**

// 如果重新创建，则删除之前的内容
    writer.deleteAll();
    writer.deleteDocuments(new Term("id","1"));

**索引的恢复**

// 使用IndexReader进行恢复
    IndexReader reader = IndexReader.open(directory, false);
    // 恢复时，必须把IndexReader的只读?readOnly)设置为false
    reader.undeleteAll();
    reader.close();

**合并段信息**

writer.forceMerge(1);//合并为1段

**强制合并已删除的文档(清空回收站)这样就不能恢复了**

writer.forceMergeDeletes();

**索引的更新**

Document doc = new Document();
    doc.add(new Field("id", "11", Field.Store.YES,
    		Field.Index.NOT_ANALYZED_NO_NORMS));
    doc.add(new Field("email", "test" + emails[0] + "@test.com",
    		Field.Store.YES, Field.Index.NOT_ANALYZED));
    doc.add(new Field("content", contents[0], Field.Store.NO,
    		Field.Index.ANALYZED));
    doc.add(new Field("name", names[0], Field.Store.YES,
    		Field.Index.NOT_ANALYZED_NO_NORMS));
    // 存储数字
    doc.add(new NumericField("attach", Field.Store.YES, true)
    		.setIntValue(attachs[0]));
    // 存储日期
    doc.add(new NumericField("date", Field.Store.YES, true)
    		.setLongValue(dates[0].getTime()));
    writer.updateDocument(new Term("id", "1"), doc);

索引创建的过程分析图

![Center][]

# 索引建立的简单步骤 #

## 创建Directory ##

Directory directory = FSDirectory.open(new File("索引文件存放的位置"));

注：此处使用的是FSDirectory是存放在磁盘上的，还有一种是RAMDirectory是存放在内存中的，但是没有办法持久化，所以推荐使用FSDirectory

## 创建IndexWriter    ##

IndexWriter writer = new IndexWriter(directory, new IndexWriterConfig(
    				Version.LUCENE_35, new StandardAnalyzer(Version.LUCENE_35)));//StandardAnalyzer标准分词器

### 分词(分词器核心) ###

**Analyzer**

SimpleAnalyzer(简单分词)、StopAnalyzer(停用词分词)、WhitespaceAnalyzer(空格符分词)、StandardAnalyzer(标准分词)

**TokenStream**

分词器做好处理之后得到的一个流，这个流中存储了分词的各种信息，可以通过TokenStream有效的获取到分词单元信息

生成的流程：

![Center 1][]

**tokenStream里面存储的值(存储值代码核心)**

Analyzer a = new StandardAnalyzer(Version.LUCENE_35);//此处使用的是标准分词
    TokenStream stream = a.tokenStream("content", new StringReader(str));
    // 位置增量的属性，存储语汇单元之间的距离
    PositionIncrementAttribute pia = stream.addAttribute(PositionIncrementAttribute.class);
    // 每个语汇单元的位置的偏移量
    OffsetAttribute oa = stream.addAttribute(OffsetAttribute.class);
    // 存储每一个语汇单元的信息(分词单元信息)
    CharTermAttribute cta = stream.addAttribute(CharTermAttribute.class);
    // 使用的分词器的类型信息
    TypeAttribute ta = stream.addAttribute(TypeAttribute.class);
    for (; stream.incrementToken();) {
    	System.out.print(pia.getPositionIncrement() + "=");
    	System.out.println(cta + "[" + oa.startOffset() + "-"+ oa.endOffset() + "-type-" + ta.type() + "\n");
    }

在这个流中所需要存储的数据

![Center 2][]

**Tokenizer**

**作用：**主要负责接收字符流Reader,将Reader进行分词操作。有如下一些实现类

![Center 3][]

**TokenFilter**

(将分词的语汇单元，进行各种各样过滤)

![Center 4][]

## **补充：自定义分词(以stop分词举例)** ##

![Center 5][]

说明：现在都是用的是中文分词，jar包是：

<dependency>
        <groupId>com.janeluo</groupId>
        <artifactId>ikanalyzer</artifactId>
        <version>2012_u6</version>
    </dependency>
    
    //java中创建分词：
    Analyzer anal=new IKAnalyzer(true);

## 创建文档并且添加索引 ##

File file = new File("d:/lucene/example");//此处作者使用的是本地的文件作为数据
    Document doc = null;
    Random ran = new Random();
    int index = 0;
    for (File f : file.listFiles()) {
    	int score = ran.nextInt(600);
    	doc = new Document();
    	doc.add(new Field("id", String.valueOf(index++),Field.Store.YES, Field.Index.NOT_ANALYZED_NO_NORMS));
    	doc.add(new Field("content", new FileReader(f)));
    	doc.add(new Field("filename", f.getName(), Field.Store.YES,Field.Index.NOT_ANALYZED));
    	doc.add(new Field("path", f.getAbsolutePath(), Field.Store.YES,Field.Index.NOT_ANALYZED));
    	doc.add(new NumericField("date", Field.Store.YES, true).setLongValue(f.lastModified()));
    	doc.add(new NumericField("size", Field.Store.YES, true).setIntValue((int) (f.length())));
    	doc.add(new NumericField("score", Field.Store.NO, true).setIntValue(score));
    	writer.addDocument(doc);
    }
    writer.close();

## 索引域选项 ##

使用Field.Index.\*来进行操作

Index.ANALYZED:进行分词和索引，适用于标题、内容等

Index.NOT\_ANALYZED:进行索引，但是不进行分词，如果身份证号，姓名，ID等，适用于精确搜索

Index.ANALYZED\_NOT\_NORMS:进行分词但是不存储norms信息，这个norms中包括了创建索引的时间和权值等信息

Index.NOT\_ANALYZED\_NOT\_NORMS:即不进行分词也不存储norms信息

Index.NO:不进行索引

## 存储域选项 ##

Field.Store.\*

YES:将会存储域值，原始字符串的值会保存在索引，以此可以进行相应的恢复操作，对于主键，标题可以是这种方式存储

NO：不会存储域值，通常与Index.ANAYLIZED合起来使用，索引一些如文章正文等不需要恢复的文档

## **最佳实践** ##

**![Center 6][]**

**补充：**

1、对数字进行索引可以使用分词器进行不同的索引

·WhitespaceAnalyzer和StandardAnalyzer会索引数字

·SimpleAnalyzer和StopAnalyzer不会索引数字

2、在3.0之后添加了数字域来完成数字和日期的索引

[Center]: /images/20220617/7ef00acc33de4bc3bf060f40c532d627.png
[Center 1]: /images/20220617/df0ccec4b0d7444b935bffe991be225d.png
[Center 2]: /images/20220617/d43161a78c2642a99251f4b7dba1235f.png
[Center 3]: /images/20220617/429f0f8eee844b49873730b832043174.png
[Center 4]: /images/20220617/4f6630f1445e4b80bf9f2f087e751f73.png
[Center 5]: /images/20220617/a45f8375f22543feb2fc4787e04f0aad.png
[Center 6]: /images/20220617/832e158584a84f7bafe3d91ee4b58b70.png