Lilian Weng (Lil'Log) · RSS 摘要

信源：Lilian Weng (Lil'Log) · https://lilianweng.github.io/index.xml

• 支撑自我改进的工程体系 — 递归自我改进（RSI）的概念可追溯至 I. J. Good（1965），他将“超智能机器”定义为一种能够在……方面超越人类的系统。
• 审慎对待缩放定律 — 缩放定律是深度学习中最关键的实证发现之一。其观察结果很简单：随着模型……的扩大，训练损失 $L$ 会呈现可预测的下降趋势。
• 我们为何思考 — 特别感谢 John Schulman 为本文提供了大量极具价值的反馈，并直接修改本文。测试时计算（Graves 等，2016；Ling 等，2017；Cobbe 等，2021）……
• 强化学习中的奖励黑客行为 — 当强化学习（RL）Agent 利用奖励函数中的缺陷或歧义来获取高奖励，而没有真正学习或完成……时，就会发生奖励黑客行为。
• LLM 中的外在幻觉 — 大语言模型中的幻觉通常是指模型生成不忠实、捏造、不一致或毫无意义的内容。作为一个术语，幻觉在某种程度上……