Scaling Laws for Neural Language Models

• 类型：arxiv
• 标识：2001.08361
• 链接：https://arxiv.org/abs/2001.08361
• 主题：evaluation
• 主分类：llm-infra
• 形态：method
• 被引：9259
• 被引来源：Semantic Scholar
• S2被引：9259
• OpenAlex被引：1500
• 影响力被引：636
• TLDR：Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.
• OpenAlex ID：W3001279689
• OpenAlex DOI：10.48550/arxiv.2001.08361
• DOI：10.48550/arxiv.2001.08361
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2001.08361
• OpenAlex更新：2026-10-12
• 待LLM分类：否
• 成熟度：research
• 场景：scaling、training、language-models
• 标题中文：神经语言模型的 Scaling Laws
• TLDR中文：更大的模型显著更具样本效率，因此最优的算力高效训练方式是：在相对适中的数据量上训练非常大的模型，并在远未收敛时显著提前停止训练。
• 来源文件：
• [OpenAlex discover]
• [S2 enrich]