文档摘要自动提取算法——抽取式

我不是女神ヾ 2022-08-06 17:21 654阅读 0赞

**文档摘要自动提取算法——抽取式**

自动提取文档摘要的算法，主流方法分为两类：Extractive 抽取式、Abstractive 概要式。这篇我们主要将抽取式。

抽取式：

从原始文档集中抽取一些具有代表性的文本片段构成摘要，这些片段可以是整个文档中的句子、子句、段落或者小节。

抽取式方法有两个问题，如何对文本单元排序打分；如何抽取文本单元的一个子集生成摘要。分别对应着排序单元和抽取单元。

通俗讲就是，先用排序单元把文档中的单元排序，选择排名靠前的单元，再用抽取单元去除选出来的单元之间的冗余信息，得到最后的自动摘要。

两种实现思路：1）排序单元给句子打分，抽取单元抽取（去除冗余）句子子集作为摘要；2）排序单元给文档集中的概念打分，抽取单元抽取一组能够最大限度覆盖重要概念的句子。

对于排序单元，有三种学习排序算法：

1） pointwise排序：孤立地处理每个样本（句子或者概念），把句子的特征和标记（排序等级）输入到机器学习算法中，学习出分类器；

2） pairwise排序：从一系列句子对或者概念对\{(x\_i, x\_j)\}中学习排序函数f(x\_i)。考虑了两两样本之间的排序问题；

3） listwise排序：所有样本之间的排序都考虑在内。

一定程度上，学习排序算法（LTR）和多标记学习里的方法是类似的，一阶/二阶/高阶方法。

对于抽取单元，需要从排序后的文本单元中，抽取一部分代表性的句子，生成抽取式摘要，在抽取的过程中，要尽可能地去除冗余。常用的是一个基于整数规划的抽取方法。

![Center][]

![Center 1][]

![Center 2][]

求解上面的整数规划，我们就可以得到哪些句子是需要抽取出来，组成摘要的。

参考文献：

文档摘要算法的研究与应用 金锋

[Center]: /images/20220805/31c7e16e60d444d6a295944bb49f0dbe.png
[Center 1]: /images/20220805/ff3e9620399847129b44de792089e39b.png
[Center 2]: /images/20220805/dd50094262044ee0b694ac7a556d741c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，654人围观）

还没有评论，来说两句吧...

相关阅读

相关利用TextRank算法提取摘要关键词以及Java实现

谈起自动摘要算法，常见的并且最易实现的当属TF-IDF，但是感觉TF-IDF效果一般，不如TextRank好。一. TF-IDF与TextRank 1. TF

￡神魔★判官ぃ/ 2023年10月06日 14:00/ 0 赞/ 57 阅读

相关 NLP-文本摘要：数据集介绍及预处理【CNN/DM（偏抽取式）、NYT Annotated Corpus（偏抽取式）、Newsroom（抽取式+生成式）、XSum（抽取式/BBC）、XL-Sum】

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6Y

灰太狼/ 2023年10月02日 13:15/ 0 赞/ 39 阅读

相关 TextRank算法：提取关键词+摘要

前言 TextRank算法是基于PageRank的思想用在来文本领域，具体的PageRank算法可以参考我的博客：[PageRank 页面排名算法][PageRank]。

系统管理员/ 2023年06月24日 09:27/ 0 赞/ 50 阅读

相关 TextRank系列之文本自动摘要提取

前期回顾 [TextRank系列之关键词提取算法][TextRank] -------------------- 原文链接：[文本自动摘要：基于TextRank的中

梦里梦外;/ 2023年02月27日 13:34/ 0 赞/ 49 阅读

相关评估 | 自动摘要评估

1.rouge评估，英文中文都可以。中文，都可以使用rouge评估，代码： -- coding: utf-8 -- from rouge import

￡神魔★判官ぃ/ 2022年12月13日 12:56/ 0 赞/ 239 阅读

相关文本关键词提取算法及自动摘要

[文本关键词提取算法][Link 1] [蛙蛙推荐：蛙蛙牌关键词提取算法][Link 2]

谁践踏了优雅/ 2022年09月24日 05:20/ 0 赞/ 246 阅读

相关文档摘要自动提取算法——抽取式

文档摘要自动提取算法——抽取式自动提取文档摘要的算法，主流方法分为两类：Extractive 抽取式、Abstractive 概要式。这篇我们主要将抽取式。

我不是女神ヾ/ 2022年08月06日 17:21/ 0 赞/ 655 阅读

相关摘要算法

1 SHA1[算法][Link 1]简介安全哈希算法（Secure Hash Algorithm）主要适用于数字签名标准（Digital Signature Standar

谁借莪１个温暖的怀抱￠/ 2022年07月11日 07:26/ 0 赞/ 238 阅读

相关摘要算法

摘要算法是一种能产生特殊输出格式的算法，这种算法的特点是：无论用户输入多少长度的原始数据，经过计算后输出的密文都是固定长度的，这种算法的原理是根据一定的运算规则对

逃离我推掉我的手/ 2022年05月11日 21:53/ 0 赞/ 275 阅读

相关消息摘要算法

定义：消息摘要算法又称为散列算法，其核心在于散列函数的单向性。即通过散列函数可获得对应的散列值，但不可通过该散列值反推其原始数据信息，这是消息摘要算法的安全性的根本所在

快来打我*/ 2022年04月24日 02:48/ 0 赞/ 298 阅读