The Curious Case of Neural Text Degeneration

• 类型：arxiv
• 标识：1904.09751
• 链接：https://arxiv.org/abs/1904.09751
• 主题：risk
• 主分类：llm-infra
• 形态：method
• 被引：4470
• 被引来源：Semantic Scholar
• S2被引：4470
• OpenAlex被引：1133
• 影响力被引：695
• TLDR：By sampling text from the dynamic nucleus of the probability distribution, which allows for diversity while effectively truncating the less reliable tail of the distribution, the resulting text better demonstrates the quality of human text, yielding enhanced diversity without sacrificing fluency and coherence.
• OpenAlex ID：W2938704169
• OpenAlex DOI：10.48550/arxiv.1904.09751
• DOI：10.48550/arxiv.1904.09751
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/1904.09751
• OpenAlex更新：2026-08-20
• 待LLM分类：否
• 成熟度：research
• 场景：文本生成、采样策略、语言模型
• 标题中文：神经文本退化的奇异案例
• TLDR中文：通过从概率分布的动态 nucleus 中采样文本，可在有效截断不可靠分布尾部的同时保持多样性，使生成文本更接近人类文本质量，在不牺牲流畅性与连贯性的前提下提升多样性。
• 来源文件：
• [OpenAlex discover]
• [S2 enrich]