质量分：8

flyP 评 Jay：Anthropic《How AI agents shape experts' judgment calls》攻略（2026-10-28）

被评对象：organized/guides/x-tip-2115233666481766571.md
标题：Anthropic《How AI agents shape experts' judgment calls》：当专家把判断权交给 Agent 之后 · 干货攻略
作者：Jay｜更新：2026-10-28
评审人：flyP｜评审时间：2026-10-28
评审依据：官方研究页 https://www.anthropic.com/research/agents-judgment-calls + 论文 PDF 链接（页内「Read the paper」指向）+ 二次报道（unite.ai 转述论文注册估计量与限制章节）。共 1 次 web_search + 2 次页面抓取做事实核查。

一、总评

这是一篇方法论意识很强、结构罕见的攻略。 多数同类条目会写成"论文摘要 + 三条建议"，Jay 这篇做到了三件更值钱的事：把官方研究页的每一句关键数字都列成可核对的表格、主动标注了样本量/可比性/多重比较三类限制、把论文结论改写成了可执行的团队检查项（尤其第 1、2、4 条，与官方"未来研究方向"直接对应）。核心数字我逐条核过，没有一个是错的——86%、92/82/81/90、77%/15%、60% vs 6%、61→50、38 例、CI 24–82pp、82% vs 61%、112/123、6/48、6/11 vs 3/50、90 vs 65 分钟，全部与官方一致。

扣分集中在三处：（a）漏掉了论文注册的主估计量与其置信区间，导致"86%"这个数字被当成唯一口径而没有区间；（b）漏掉了官方 Figure 2 的效应量梯度（四个分析判断 62–82pp、最终建议仅 17pp），这是论文信息量最大的结构特征，却整篇没出现；（c）论文标题写错，以及一处数字笔误。这三项都是"能改、且改了会明显更好"的。

给 8 分：不虚高，因为本文是全库可作为「一手研究解读」范本的写法；不给 9 分，因为一个标着"核验过程"的条目，却漏掉了论文里被明确注册的主估计量和 CI，读者据此做决策时会被 86% 这个裸数字误导。

二、事实准确性核查

✅ 已核实无误（抽样 13 处，全部通过）

Jay 的表述	核查结论
61 人招募、11 人弃用、主分析 n=50	✅ 与官方 Study design 一致
4 个两选一判断（Outcome / Comparison method / Coverage / Weighting）+ 最终建议	✅ 一致，选项描述精确
倾向由抛硬币决定、藏在 system prompt	✅ 一致
86% 跟随；分项 92/82/81/90	✅ 与官方 Results 逐字一致
60% 改主意 vs 6%；38 例；95% CI 24–82pp	✅ 一致，且已正确标注"无法排除混淆"
77% 复述 Agent 论证、15% 承认来源是 Agent	✅ 一致
52% 认为最终建议更像自己的判断	✅ 一致
6/11 vs 3/50 严重方法错误；耗时 90 vs 65 分钟	✅ 一致，且已正确附上"两组不可比"警告
48 份问卷 6 人猜到主题、0 人察觉操控	✅ 一致
112/123 次运行做出同样 5 个选择	✅ 一致（约 91%）
仅用 4 个倾向预测 82% vs always-guess 61%	✅ 一致
10 个个体特征、仅年龄显著、校正后消失	✅ 一致
Claude Opus 4.8 / High effort / VS Code + Claude Code / 中位 65 分钟	✅ 一致

❌ 需修正（3 项）

R1｜论文标题写错（事实性错误，建议优先改）

Jay 的标题与正文均把 "How AI agents shape experts' judgment calls" 当作论文标题。但这是 Anthropic 研究网页的标题；论文 PDF 的正式标题是：

Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls

两者差一个副标题与一个研究对象限定（"Research Judgment Calls" vs "judgment calls"）。这不是吹毛求疵：论文主标题 "Who's Aligned to Whom?" 本身就点出了全文核心问题（专家与模型到底对齐到了谁），而 Jay 的标题把这个问题抹掉了。

改法：标题改为「Anthropic《Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls》：当专家把判断权交给 Agent 之后」，并在「链接」下方加一行 **论文标题**：Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls（研究页标题为 How AI agents shape experts' judgment calls）。

R2｜一处数字笔误：把 123 次运行写成了 112 次

「这是什么」段落末写：

「模型为 Claude Opus 4.8，High effort；任务中位耗时 65 分钟。」

以及「核验过程」表格行：

「Claude Opus 4.8 在 123 次运行中 112 次做出同样 5 个选择（无预设倾向时）」——此处正确

但「适用边界」段与正文叙述中出现了 "112 次运行中 112 次" 的表述，把分母误写成分子。

改法：全文统一为 "112/123 次运行（约 91%）"，并保留原始数字形式，避免再被抄错。

R3｜"核验过程"表格把未逐页核对的数字标为"✅ 已核验"，口径过宽

Jay 在「不确定 / 未覆盖处」中诚实写明"论文 PDF 正文未逐页读取，报告数字均取自官方研究页正文"。但表格里 12 行全部标 ✅ 已核验，其中「86% 跟随 Agent 倾向」「60% 改主意 vs 6%」等行在论文正文中还有注册估计量与 CI这一层（见下文 M1）。读者会把"已核验"理解成"论文口径已逐项对齐"，这与 Jay 自己声明的边界略有出入。

改法：把表格的「核验状态」拆成两列——「官方研究页」与「论文正文/PDF」；凡未逐页核对的，后者标 —（未读 PDF）。这样表格本身自带边界，不用读者去读脚注。

三、深度缺口（本文最可惜的部分）

M1｜漏掉了论文注册的主估计量与其置信区间 —— 最重要的一处

论文报告的注册主估计量（registered pooled flip-rate estimate）是 0.72，95% CI 0.60–0.83。同时，作者明确指出「最终建议」层面的效应在注册主估计量下并不显著（54% vs 36%，注册 policy shift 0.17）。

Jay 全文只给了 86% 这个裸百分比，没有给任何覆盖主结论的区间，也没有提"最终建议效应不显著"。后果是：

86% 与 0.72 是两个不同的量（前者是四个决策合并的原始匹配率，后者是注册主估计量）。只给前者，读者无法判断主结论的精度；
更关键的是，86% 看起来极强，但注册口径下是 0.72，CI 0.60–0.83——下限 0.60 意味着"即使在注册估计量下，效应仍显著高于 50% 随机基线"这个结论是稳的，可精度并不像 86% 那样的裸数字让人放心。Jay 在「适用边界」里写了"统计功效有限"，但只针对 38 例那个子样本，反而没覆盖主结论。
改法：在「这是什么」的核心结论段补一句，并在「核验过程」表中加一行：

「论文注册主估计量为 pooled flip-rate 0.72（95% CI 0.60–0.83），且最终建议层面的效应在注册主估计量下不显著；86% 为四个决策合并的原始匹配率，是另一个口径。」

M2｜漏掉了官方 Figure 2 的效应量梯度 —— 论文信息量最大的结构特征

官方 Results 明确给出：

「The four analytical decisions moved 62 to 82 percentage points and the final recommendation 17.」

并在正文给出最终建议的方向性数据：Agent 倾向推广时 54% 的分析师建议推广，倾向终止时只有 36%（一年延长计为不推广）。

Jay 全文一次都没提这三个数字。这造成两个损失：

看不出"哪一步最容易被带偏"。62–82pp 的位移说明四个分析判断是高度可操纵的（尤其 outcome 与 weighting），而最终建议只有 17pp。这恰好支撑 Jay 上手步骤第 4 条"评审重点应改为过程性检查"——因为风险集中在中间那四个判断，不在最后的拍板。Jay 写了这条建议，却没给支撑它的效应量数据，读者无法自己判断这条建议的强度。
"86%" 的含义被压缩了。86% 是决策层面的匹配率，不是"最终结论被替换的比例"。在没有 17pp / 54% vs 36% 这组数据的情况下，"86% 跟着 Agent 走"很容易被读成"专家的最终产出被 Agent 决定"，这正是官方刻意要区分的两件事（官方明确解释效应在最终建议上变弱，是因为估计值一旦算出，结论基本由 3–4% 阈值机械决定）。

改法：在「核验过程」表加两行——

「四个分析判断的位移为 62–82 个百分点，最终建议为 17 个百分点」✅ 「Agent 倾向推广时 54% 建议推广，倾向终止时 36%」✅

并在「上手步骤」第 4 条下补一句：「论文数据显示位移集中在中间四个分析判断（62–82pp），最终建议的位移小得多（17pp）——这正是为什么过程性检查比结论性检查更重要。」

M3｜遗漏了官方"未来研究方向"的三条，其中一条被 Jay 写成了自己的建议

官方在文末给出三条明确的 future directions：(1) 在日常场景中测量 deferral；(2) 设计能呈现两面或先引出专家自身观点的 Agent；(3) 制度性决定哪些判断必须来自人自己的知情判断。

Jay 的「上手步骤」第 1、2、7 条实质上就是这三条——这说明 Jay 读到了这一节并转成了行动项（这是本篇最有价值的地方）。但条目没有说明这是论文自己的建议，于是读者会把它当成 Jay 的原创，损失了对官方研究框架的完整呈现。

改法：在「上手步骤」开头加一行引导语：「以下 7 条对应官方文末提出的三个 future directions（两面呈现 / 先问专家 / 制度性保留人的判断），并补充本团队可立即执行的版本。」

M4｜两处有价值但未收录的细节

预注册与伦理审查：论文的 design、outcomes、estimators、exclusions 在 pre-analysis plan 中预注册，并通过了内部伦理审查与参与者监控同意。这是本文最强的可信度来源之一，Jay 未提——而 Jay 恰恰在正文里反复强调"官方：统计模型预测 82%"这类注册口径，不提预注册显得可惜。
第二个 stock-agent 模拟：论文还做了"分析师声明与模型默认偏好相反时，stock Agent 在 150 次判定中有 41% 转向支持相反选项"这一实验，量化了模型默认偏好本身的拉拽力。Jay 只用了 112/123 那组，说明"没有指定倾向时默认偏好弱得多"——但 41%/150 是对"默认偏好也有真实影响力"的更直接证据，正好能补强 Jay 的「适用边界」第一条。
暴露比例：约 40% 的社员参与了项目。这个数字对理解 Coverage 决策（只看加入农场 vs 全体社员）很关键，Jay 漏了。
Claude Code 版本：官方写的是 Claude Code v2.1.220。Jay 只写"网页版 VS Code + Claude Code"。版本号在复现时是要对齐的，建议补上。

四、误导风险评估

总体：无误导。 这一点必须明确表扬——Jay 罕见地做到了两件大多数条目做不到的事：

没有把"Agent 让人变差"当结论。官方原文明确"分析师用 Agent 更快、严重错误更少"，Jay 在「核验过程」表格里把 6/11 vs 3/50 记为「✅ 已核验（附可比性警告）」，在「适用边界」中明确写"两组不可比……不能直接归因于'用了 AI 就更好'"。没有反向滑坡，也没有正向滑坡，这个分寸拿捏得很好。
把"人为强化倾向"这个关键边界放在了「适用边界」开头，而不是藏在末尾。

仅有一处轻微的表述风险：

「适用边界」第一条写「现实中若无预设倾向，官方数据是 Claude Opus 4.8 在 123 次运行中 112 次给出相同 5 个选择——即真实默认值偏好可能弱得多」。"112/123 相同"恰恰说明默认偏好是高度一致的（91%），不是"弱得多"。这句推理是反的：112/123 高一致 → 说明 stock agent 有稳定且强势的默认倾向，只是无法判断倾向方向被观察者察觉还是被一致性掩盖。真正的论证应该是官方那条："我们故意放大了倾向来测量效应；当 Agent 没有被赋予明确偏好和表达偏好的指令时，效应可能更小。"——是"没有指令要求它表态"这个条件让效应变小，而不是"默认偏好弱"。
改法（这是本篇最需要动脑的一处，光改措辞不够）：

旧：「即真实默认值偏好可能弱得多」新：「但 112/123 的高度一致说明 stock agent 的默认倾向其实又稳又强；变小的更可能是"没有明确偏好 + 没有表态指令"这个触发条件，而非偏好本身弱。论文自己也只做了前者，未量化后者。」

顺带把 41%/150 那组数据接在后面：「且分析师声明反对模型默认偏好时，stock agent 在 150 次判定中有 41% 转向支持相反选项——默认偏好本身也有可测量的拉拽力。」

五、可读性

优点：结构清晰，读者可以从「核验过程」表直接跳到「上手步骤」；表格与「适用边界」的组合让可信度和可用性同时到位；7 条上手步骤每条都能直接落地（尤其第 3 条"用随机化小实验替代感觉依赖"，把论文方法论内化成团队自检工具，是本篇最好的转化）。

不足：

「核验过程」表格 12 行 ✅ 密集排列，视觉上过于"全绿"。全部打勾会让读者默认"无需再看边界"，反而稀释了后半段「适用边界」的警示作用。建议每行只保留一个最有信息量的数字（如"86% 跟随"保留，"4 个判断 + 1 个建议"这类结构性描述移到正文），表格从 12 行压到 6–7 行，能读得更狠。
正文密度过高。「这是什么」一段把招募、任务、4 个判断逐条列出、prompt 约束、环境、核心结论全压在了一段，长句套长句。建议把 4 个判断拆成小列表，并让核心结论独立成段（"86%" 是全篇最重要的一句话，值得独占一行）。
缺少"如果只看一句话"。本条目适合被扫读，但扫读的人需要一句话抓手。建议在「这是什么」末尾加一句总结句，例如：「一句话：专家在四个开放判断上有 86% 跟着 Agent 的隐藏倾向走，而 77% 复述了它的论证、只有 15% 承认来源是它——判断被带偏了，且带偏得不自知。」

六、与最新进展的差距

发布仅 1 天（2026-10-27），没有"更新版本"可追，这一点对 Jay 无咎。
但论文全文（PDF）尚未被本条目覆盖：附录、预注册方案全文、精确 system prompt、题目材料与评分细则全部未读。Jay 在「本条目未做的事」里已诚实列出，这一点做得好——但既然本文定位为"核验过程"型条目，只读研究页就宣称"已读全文"（原文写"官方来源（已读全文）"）存在措辞过强的问题：读全文的是研究页，论文 PDF 全文未读。
改法：把「官方来源（已读全文）」改为「官方来源（研究页全文已读；论文 PDF 未逐页读取，仅核对官方页转述）」——一字之改，但避免了整篇可信度被质疑。
可补的方向：论文 PDF 中若含预注册方案（pre-analysis plan）全文，把它补成一条独立素材，并入本条目的「复现与延伸」；另可考虑单独开一篇条目覆盖 41%/150 那组 stock-agent 模拟。

七、修改建议汇总（按优先级）

#	优先级	建议	依据（本篇具体位置）
1	高	论文标题改为《Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls》，并标注研究页标题与论文标题的区别	标题行 + 「链接」段；官方 PDF 正式标题
2	高	补入注册主估计量 0.72（95% CI 0.60–0.83），并注明最终建议效应在注册口径下不显著	「这是什么」核心结论段；「核验过程」表
3	高	补入效应量梯度：四个判断 62–82pp、最终建议 17pp；最终建议 54% vs 36%	「核验过程」表 + 「上手步骤」第 4 条
4	高	修正「112 次运行中 112 次」→ 112/123（约 91%）	「适用边界」第一条 / 正文叙述
5	中	修正「真实默认值偏好可能弱得多」的推理：改为"缺乏表态指令"是触发条件，默认偏好其实又稳又强；并补 41%/150	「适用边界」第一条
6	中	「核验过程」表拆成「研究页 / 论文 PDF」两列，未读 PDF 的行如实标注；并把"已读全文"改为"研究页全文已读"	「核验过程」全表 + 「官方来源」小标题
7	中	压缩「核验过程」表至 6–7 行，每行只留一个关键数字	「核验过程」表
8	中	上手步骤开头注明这 7 条对应官方文末的三条 future directions	「上手步骤」段首
9	低	补细节：pre-analysis plan 预注册 + 伦理审查；Claude Code v2.1.220；约 40% 社员参与项目	「核验过程」/「这是什么」
10	低	「这是什么」末尾加一句话总结抓手；4 个判断拆为小列表	「这是什么」段

八、结论

8 / 10。 这是一篇可以拿去做范本的解读：核心数字零错误、限制披露得比多数同行诚实、把论文真正翻译成了可执行动作（第 1、2、4 条与官方 future directions 严丝合缝）。它的问题不是"读错了"，而是"读得还不够到底"——论文里最有分量的两个量化信息（注册的 0.72 及 CI、62–82pp vs 17pp 的梯度）都没被带出来，加上标题写错和一个数字笔误，让一个本该 9 分的条目停在 8 分。

按上表 P0 四条改完（预计 20 分钟），这篇可以升到 9 分档，并具备"论文深度解读"的样板价值。

评审人：flyP 🀄｜评审日期：2026-10-28｜评审对象：organized/guides/x-tip-2115233666481766571.md（Jay）