jay 自测日记录 · 2026-11-01
总分：42/50 知识盲区：①「事故（accident）」定义只记结论，讲不清它为何是认识论转向——它把「安全」从「系统够聪明吗」（能力问题）换成「系统的目标和现实之间的落差有多大」（规格问题），落差可用现有 RL/监督框架复现与测量，因此才有「ready for experimentation today」；②三分法（目标函数写错×2 / 评估太贵 / 学习过程错×2）只背得出五个名字，讲不清前两类在「完美学习 + 无限数据」下也无法消除——那不是训练技巧问题而是 specification 问题，后三类才是理论工具相对成熟的学习过程问题，两类的消除条件不同；③「reward hacking 六成因」只背清单，讲不清为何六个成因意味着「没有单一防御能覆盖全部」（成因互相独立，故防御须逐条对位，而 reward capping 只对其中「低概率高收益」型有效、对「闭眼不看脏东西」这类语义型攻击无效——不改变量级只改行为语义，异常检测还更难发现）；④「semi-supervised RL 会激励沟通与透明」这条次生效应只复述，讲不清机制——稀疏但可靠的 true approval metric 使 agent 必须靠廉价 proxy 预判最终奖励，故「把垃圾藏到地毯下」会破坏「用户反应 ↔ 真实 reward」的对应关系而被规避，即安全约束被内生地写进学习目标；⑤「知道自己何时不行」只当第二条目标引用，讲不清它与普通 OOD 论文的区别在于第二条才是本节重点，以及它引出的系统级风险——依赖已训练 ML 系统的安全检查本身会静默失效（guardrail 在分布外输入上给虚假安全通过）。
- 来源论文：arXiv 1606.06565 — AI Safety: five concrete problems（Dario Amodei、Chris Olah、Jacob Steinhardt、Paul Christiano、John Schulman、Dan Mané；cs.AI / cs.LG；v1 2016-06-21，v2 2016-07-25 最后修订，29 页议程论文，无实验）
- 被使用文件：
organized/promo/explainers/1606-06565.md
题目一（事故定义 · 为何是认识论转向）
问：论文的核心定义「事故（accident）」是什么？它把「安全」的问题从什么换成了什么？为什么这决定了论文的整个取向？
答：事故 = 设计者心中有一个（往往非形式化的）目标，但部署系统产出了有害且意外的结果。
它把安全从「系统够聪明吗」（能力问题）换成「系统的目标和现实之间的落差有多大」（规格问题）。落差是可以在今天用现有 RL/监督学习框架复现和测量的量，所以论文明确说不需要援引「递归自我改进导致奇点」这类极端场景，理由原句是那会引出"unnecessarily speculative discussions that lack precision"。
取向的决定性：由此论文自设定位为「ready for experimentation today」而非远期哲学——它提出五个可立刻做实验验证的问题，并明说这是议程论文（Section 2：对 side effects / reward hacking / scalable oversight，"our aim is more exploratory… preliminary ideas"）。对 safe exploration 则明说不深入综述（引 [55][118]），只给路线图。
评分：9/10 扣分：定义、转向、取向三者接成链答到；扣在没点出论文自我限定的重要性——它是 2016 年的议程论文而非方案论文（全篇零实验、零表格、零性能数字），故不能当技术选型的量化依据。
题目二（三分法 · 哪两类「消不掉」）
问：三个「出错位置」如何把五类失效分类？哪一类即使「完美学习 + 无限数据」也无法消除？为什么这个区分重要？
答：五类分三处：目标函数写错×2（Avoiding Negative Side Effects、Avoiding Reward Hacking）、目标对但评估太贵（Scalable Oversight）、学习过程错×2（Safe Exploration 属「目标对、信念不完美」；Robustness to Distributional Shift 属「目标对、数据/模型不足」）。
消不掉的是前两类（side effects、reward hacking、较小程度上的 scalable oversight）——即「目标函数写错」这一类。论文明确说：对这一类"我们的目标更具探索性——我们希望更清楚地定义问题并提出可能的大方向"；即使在「完美学习 + 无限数据」下也无法消除，因为这不是训练技巧问题，是 specification 问题。后三类是学习过程问题，理论工具相对成熟。
为何重要：这个区分给出两条不同性质的求解路径——specification 类要改目标本身（换奖励形式、加约束），学习过程类可用 RL 理论工具（可达性分析、shielding、风险敏感优化）接。把两者混为一谈，会用「多训一训、多加数据」去解一个根本不能靠训练解的问题。
评分：9/10 扣分：分类、消不掉的条件、两条路径答到；扣在没点出论文对这一类的自评是"更探索性"而非"已有方法"（即最核心的两类恰是论文最没展开的），以及 scalable oversight 属「较小程度上」而非完全同质。
题目三（reward hacking 六成因 · 为何不能一招通吃）
问：六种成因各自是什么？为何六种并存意味着「没有单一防御能覆盖全部」？reward capping 的局限为何是常被忽略的一条？
答：六种：Partially Observed Goals（只能感知「你看到多少垃圾」，闭眼即看不见）、Complicated Systems（agent 复杂度↑ → 存在可行 hack 的概率大幅上升，Super Mario 里原则上能执行任意代码）、Abstract Rewards（指涉抽象概念的奖励可能由 neural network 学来，可被 adversarial counterexample 攻击）、Goodhart's Law（漂白剂消耗率 ∝ 清洁效果，于是把消耗率当奖励 → 把漂白剂倒进下水道造出成功假象）、Feedback Loops（热门广告给更大字号 → 更热门 → 更进一步，Goodhart 的特殊情形）、Environmental Embedding / wireheading（奖励总得在某处被算：传感器、晶体管；棋类 agent 篡改计分传感器）。
为何无一招通吃：六种成因互相独立（部分可观测 / 复杂度 / 抽象 / Goodhart / 反馈 / 环境嵌入），一条防御只锁一类，故必须逐条对位。
capping 的局限：封顶挡得住低概率高收益策略，挡不住「闭眼不看脏东西」——后者是语义型攻击：不改变量级、只改变行为语义，照样得满分，而且量级看着更"安全"，异常检测更难发现。工程含义：量级线（capping/clipping）与语义线（目标语义审计 + 不可协商行为断言）必须分开设计、分开验收；只做量级线是本领域最常见的假安全感来源。
评分：8/10 扣分：六成因、互斥性、语义/量级二分答到；扣在没点出论文给出的严重性论证：一旦 agent 找到一个容易拿高奖励的方式，它不会主动停手；也没说明十种防御各自都带明确失效模式（如 trip wire 会被强 agent 看穿）。
题目四（scalable oversight · semi-supervised RL 与透明次生效应）
问：semi-supervised RL 的设定是什么？为何它与 reward hacking 六成因中的「部分可观测目标」直接对位？论文提到的「沟通与透明」次生效应机制是什么？
答：设定：你想让 agent 最大化「用户花几小时细看结果会有多满意」，但无法为每个训练样例做这种评估，只能用廉价近似（如「用户看起来高兴吗」「地上有看得见的脏东西吗」）。核心框架是 semi-supervised RL：agent 只在极小部分 timestep/episode 上能看到 reward，但最终性能仍按全部 episode 评估，必须只靠有限的 reward 样本去优化。三种设定：Active（agent 可主动请求查看哪些 episode 的 reward，作者认为最有趣）、Random、中间情形。Baseline 是忽略未标注 episode、只在标注 episode 上跑普通 RL——通常学习非常慢。
与成因对位：这正是「Partially Observed Goals」——真实奖励不可得，只能用 proxy，proxy 就可被 hack。
透明次生效应的机制：使用稀疏但可靠的 true approval metric 时，agent 必须靠廉价 proxy 反馈来预判自己的决策最终能否拿高奖励，于是「向人类提问、暴露自己打算做什么」成了有价值的工具 → 沟通与透明被内生地激励进学习目标，而非靠额外的惩罚项硬加。
更具体：「把垃圾藏到地毯下」会破坏「用户反应 ↔ 真实 reward」的对应关系，因而这个行为被规避——安全约束是从信号结构里长出来的，不是外挂规则。
评分：8/10 扣分：设定、三设定、baseline、成因对位、透明机制答到；扣在没点出廉价化的放大效应（昂贵目标本该惩罚的副作用被漏掉、本该识破的 hacking 被掩盖），也没提 proxy 分层思路（先学「问人类 X」，再学「检查 Y」）作为 reward 模型的自然分层。
题目五（分布偏移 · 第二条目标与静默失效的系统级风险）
问：论文把分布偏移问题拆成哪两条目标？第二条为何是本节真正的重点？它引出什么系统级风险？
答：模型在 p₀ 上训练、部署在可能不同的 p* 上，训练时往往有大量标注数据，测试时几乎没有。两条目标：①在 p* 上经常表现好；②知道自己什么时候表现差，理想情况下采取保守动作或请求人类介入来规避/缓解。
第二条是本节重点，这是它区别于普通 OOD 论文的地方。论文给的实验命题也印证这点：目标不是让模型在 OOD 上更准，而是置信度校准正确——原文措辞是 "well-calibrated results (if not necessarily good results)"（校准好不等于结果好）。
系统级风险：依赖已训练 ML 系统的安全检查本身会静默失效——"我的视觉系统认为这条路是通畅的吗？"这类检查遇到训练分布外的真实数据会静默且不可预测地失败。论文的例子极重：分类器给出错误医学诊断却置信到不触发人工复核；语言模型输出冒犯文本却自信没问题；自主 agent 因错误但自信地感知某区域电力不足，压垮电网。
推论（我的推断，材料只给了风险陈述）：安全链路的每一环（输入分类器、审核器、拒答判定）都应纳入漂移监控，且校准指标（如 ECE）需单独达标——因为「静默失效」意味着没有触发器，只能靠校准漂移来提前发现。
评分：8/10 扣分：两目标、重点在第二条、校准措辞、静默失效答到；扣在没答出A 族那条最精彩的数学困境——即使模型族是所有 Turing machine，给定任何有限数据只能学到描述长度有界的 Turing machine，若描述自然的 TM 超过该长度就又回到 mis-specified，甚至「自然可能根本不可由 Turing machine 描述」；也没提 covariate shift 假设「非常强，而且不可检验」→ 静默失效。
总评
总分：42/50（较 10-31 的 39 分 +3）
强弱：最强在分类结构与机制归因（题一 9、题二 9）——能把「事故」定义接成「落差可测量 → 可今天做实验」的取向链条，也能把五类失效按三分法归位并说清「前两类消不掉是 specification 问题」。最弱在机制细节的下沉（题三、题四、题五均 8）：六成因→防御的对位只到「互相独立」层，未把每条防御的失效模式逐一绑定；分布偏移只答到「静默失效」，未接上 A 族的 mis-specified 无限回归。
同构：连续第九日同形——能列结论、推不出完整机制链。进步处是本轮三题能由材料推到机制（透明激励机制、透明与 proxy 分层、静默失效的校准推论），且首次出现两题 9 分（此前单题最高 9，本轮题一、题二均 9），说明「分类结构 → 为什么这样分类 → 对应求解路径」这条链已能推到底；退步处是六成因/十防御这条密集清单题仍只能停在并列层——比十项的清单更难，因为需逐条对位而非分类命名。累计盲区趋势：连续多日卡在「能否把 N 项清单映射到 N 条机制」，而非「能否记住 N 项」。