自然语言处理(NLP)-第三方库(工具包)：FastSum【基于fastNLP开发的文本摘要解决方案，包括数据加载、模型调用、模型评价】【实现模型：Seq2Seq、PGNet、BertSum】

2022/2/25 23:52:08

编程Tag： 文本模型文章摘要 seq2seq summary corpus Summarization FastSum

本文主要是介绍自然语言处理(NLP)-第三方库(工具包)：FastSum【基于fastNLP开发的文本摘要解决方案，包括数据加载、模型调用、模型评价】【实现模型：Seq2Seq、PGNet、BertSum】，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

FastSum是基于fastNLP开发的一套完整的文本摘要任务解决方案，包括数据加载、模型调用、模型评价三个部分。

FastSum中实现的模型包括：

基准模型 (LSTM/Transformer + SeqLab)
Get To The Point: Summarization with Pointer-Generator Networks
Extractive Summarization as Text Matching
Text Summarization with Pretrained Encoders

提供了12个文本摘要任务的数据集：

名称	论文	类型	描述
CNN/DailyMail	Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond	新闻	修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。微调 Teaching Machines to Read and Comprehend 的脚本之后，作者生成了一个 multi-sentence summary 的数据集合
Xsum	Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization	新闻	article-single sentence summary 的数据集。在 BBC 上，每篇文章开头都附有人工撰写的摘要，提取即可
The New York Times Annotated Corpus	The New York Times Annotated Corpus	新闻	人工撰写的摘要
DUC	The Effects of Human Variation in DUC Summarization Evaluation	新闻	2003 和 2004 Task1 都是对每个 doc 生成一段摘要
arXiv PubMed	A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents	科学著作	从 arXiv 和 PubMed 获取的长篇文档的摘要，论文的 abstract 部分作为摘要的 ground-truth。
WikiHow	WikiHow: A Large Scale Text Summarization Dataset	知识库	[WikiHow 有一个关于“怎么做”的数据库，每个步骤描述是由一段加粗摘要以及详细步骤叙述组成。作者把每个步骤的加粗摘要合并作为最终摘要，每步的剩余部分进行合并组成 article。
Multi News	Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model	新闻、多文本摘要	数据集由新闻文章和这些文章的人工摘要组成，这些文章来自 newser.com 网站。每一篇摘要都是由专业编辑撰写的，并包含到引用的原始文章的链接。
BillSum	BillSum: A Corpus for Automatic Summarization of US Legislation	法案文本	数据是选自美国国会和加利福尼亚州立法机构的法案文本，人为编写的摘要。
AMI	The AMI meeting corpus: a pre-announcement	会议	AMI会议语料库是一种多模式数据集，包含100小时的会议多模式记录。本语料库为每个单独的讲话者提供了高质量的人工记录，还包含了抽取式摘要、生成式摘要、头部动作、手势、情绪状态等。
ICSI	ICSI Corpus	会议	ICSI会议语料库是一个音频数据集，包含大约70个小时的会议记录。包含了抽取式摘要和生成式摘要。
Reddit TIFU	Abstractive Summarization of Reddit Posts with Multi-level Memory Networks	在线讨论	通过从 Reddit 爬取数据，作者生成了两套摘要：用原帖的 title 作为 short summary，TL;DR summary 作为 long summary。
SAMSum	SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization	对话	对话由语言学家根据日常对话写成，之后由语言学家标注摘要。
名称	论文	类型	描述
CNN/DailyMail	Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond	新闻	修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。微调 Teaching Machines to Read and Comprehend 的脚本之后，作者生成了一个 multi-sentence summary 的数据集合
Xsum	Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization	新闻	article-single sentence summary 的数据集。在 BBC 上，每篇文章开头都附有人工撰写的摘要，提取即可
The New York Times Annotated Corpus	The New York Times Annotated Corpus	新闻	人工撰写的摘要

参考资料：
预训练编码器文本摘要
FastSum：基于fastNLP开发的文本摘要解决方案

这篇关于自然语言处理(NLP)-第三方库(工具包)：FastSum【基于fastNLP开发的文本摘要解决方案，包括数据加载、模型调用、模型评价】【实现模型：Seq2Seq、PGNet、BertSum】的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

自然语言处理(NLP)-第三方库(工具包)：FastSum【基于fastNLP开发的文本摘要解决方案，包括数据加载、模型调用、模型评价】【实现模型：Seq2Seq、PGNet、BertSum】

相关编程文章