PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization

• 类型：arxiv
• 标识：1912.08777
• 链接：https://arxiv.org/abs/1912.08777
• 主题：agent
• 主分类：engineering
• 形态：method
• 被引：2556
• 被引来源：Semantic Scholar
• S2被引：2556
• OpenAlex被引：983
• 影响力被引：422
• TLDR：This work proposes pre-training large Transformer-based encoder-decoder models on massive text corpora with a new self-supervised objective, PEGASUS, and demonstrates it achieves state-of-the-art performance on all 12 downstream datasets measured by ROUGE scores.
• OpenAlex ID：W2996264288
• OpenAlex DOI：10.48550/arxiv.1912.08777
• DOI：10.48550/arxiv.1912.08777
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/1912.08777
• OpenAlex更新：2026-08-21
• 待LLM分类：否
• 标题中文：PEGASUS：基于抽取间隔句预训练的生成式摘要
• TLDR中文：本工作提出在海量文本语料上使用新的自监督目标 PEGASUS 对大型 Transformer 编码器-解码器模型进行预训练，并证明其在所有 12 个下游数据集上按 ROUGE 分数衡量均取得 SOTA 性能
• 来源文件：
• [OpenAlex discover]
• [S2 enrich]