信息抽取(Information Extraction:NER(命名实体识别),关系抽取)

「爱情、让人受尽委屈。」 2023-03-13 11:53 4阅读 0赞

> 信息/数据抽取是指从非结构化或半结构化文档中提取结构化信息的技术。信息抽取有两部分：命名实体识别（目标是识别和分类真实世界里的知名实体）和关系提取（目标是提取实体之间的语义关系）。概率模型/分类器可以帮助实现这些任务。

信息抽取的定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术

信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。

本文介绍从文本中提取有限种类语义内容的技术。此信息提取过程(IE)将嵌入文本中的非结构化信息转换为结构化数据，例如用于填充关系数据库以支持进一步处理。

**命名实体识别**(NER)的任务是找到文本中提到的每个命名实体，并标记其类型。构成命名实体类型的是特定于任务的;人员、地点和组织是常见的。一旦提取了文本中的所有命名实体，就可以将它们链接到与实际实体相对应的集合中。

**关系抽取：**发现和分类文本实体之间的语义关系。这些关系通常是二元关系，如子女关系、就业关系、部分-整体关系和地理空间关系。

--------------------

信息抽取（IE）过程是将嵌入在文本中的**非结构化信息自动提取转换为结构化数据**的过程。在文本中进行信息提取与文本简化问题相关联，一般目的是创建对机器来说可读性更强的文本来处理句子。 IE一般包含以下子任务：

大多数IE任务的第一步是找到文本中提到的专有名称（proper names）或命名实体（named entities），**命名实体识别（NER）**的任务是在文本中查找每个提及的命名实体并标记其类型。什么构成命名实体的类型则是特定于应用程序的，这些通常包括人员，地点和组织，但也包括从基因和蛋白质名称到大学课程名称的一些更具体实体。

在文本中找到所有提及的命名实体后，我们需要将这些实体链接或聚类到各个集合中。

**关系抽取（relation extraction）**的任务是查找和分类文本实体之间的语义关系，通常是配偶，子女，就业，从属和地理空间上的位置关系等二元关系。关系抽取与填充关系数据库有着密切的联系。

**事件提取（event extraction）**的任务是查找这些实体参与的事件，例如，美国两家航空公司的票价增加以及报告事件所述和引用的事件。 我们还需要通过查找共同之处来确定文本中提到的许多事件中的哪些引用同一个事件。

为了弄清楚文本中事件的发生时间，我们必须确认一些**时间表达式（temporal expression）**—— 例如星期几（星期五和星期四）、月份、节假日等 —— 以及相对表达式如现在或明年的两天以及3:30 PM 或中午。 时间表达归一化（temporal expression normalization）的问题是将这些时间表达映射到特定的日历日期或一天中的时间来及时定位事件。

最后，许多文本描述了反复出现的刻板形式。 **模板填充（template filling）**的任务是在文档中找到这种情况，并用适当的材料填充模板。 这些插槽填充符可以由直接从文本中提取的文本段，或者通过附加处理从文本元素推断出的时间，金额或本体实体（ontology entities）等概念组成。

举例来说，由于航空公司经常提高票价，然后等待竞争对手的跟进。 在这种情况下，我们可以将美联航确定为最初提高票价的主要航空公司，

从他们发表的新闻中：

Citing high fuel prices, United Airlines said Friday it has increased fares by $6 per round trip on flights to some cities also served by lowercost carriers. American Airlines, a unit of AMR Corp., immediately matched the move, spokesman Tim Wagner said. United, a unit of UAL Corp., said the increase took effect Thursday and applies to most routes where it competes against discount carriers, such as Chicago to Dallas and Denver to San Francisco.

我们可以提取价格为6美元，星期四为提高价格的日期，美国航空是随后提价的航空公司，从而形成如下所示的实用模板。

![format_png][]

\[图片及描述来源：Jurafsky, D.; Martin, J. H. (2016). Speech and Language Processing. Prentice Hall\]

[format_png]: /images/20230312/7557c25bc00d4a2a84b901d2d772f5a1.png