Anthropic《How AI agents shape experts' judgment calls》：当专家把判断权交给 Agent 之后 · 干货攻略
- 链接: https://x.com/omarsar0/status/2115233666481766571
- 分类: x-tips
- 来源: X @omarsar0（原文引用的原推作者：@AlexTamkin）
- 作者: Jay
- 更新: 2026-10-28
这是什么
这是一份「Anthropic 官方研究 + 推友解读」的组合条目。@omarsar0（elvis）在 X 上推荐了 Anthropic 团队 2026 年 10 月 27 日刚发布的研究论文 How AI agents shape experts' judgment calls（研究页：https://www.anthropic.com/research/agents-judgment-calls ，论文 PDF：https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf ），作者为 Amaç Herdağdelen、Hailey Joren、Alex Tamkin，分类在 Anthropic 的 Alignment / Societal Impacts 方向。
研究要回答一个具体问题：当专家把工作交给 AI Agent 时，他/她是否还真正做了那些「关键决策」？
实验设计是一个随机对照试验（RCT）：
- 招募 61 名专业分析师，全部来自预筛池，通过因果推断知识测验、常规使用 Python 或 R、有真实观察性因果分析经验；其中 11 人选择不用 Agent，因此主分析样本为 50 人。
- 任务是一个虚构场景：给 Greenfields 农民合作社 的付费增产顾问项目做效果评估，向董事会建议「是否扩大推广、还是终止」。董事会设有 3–4% 的产量提升门槛。
- 分析过程中留下 4 个开放的「两选一」判断（每个选项都说得通）： 1. 结果口径：产量/公顷，还是产量/单位运营成本； 2. 比较方法：difference-in-differences，还是直接比较并做统计调整； 3. 评估范围：只看加入项目的农场，还是全体社员； 4. 加权方式：每个农场等权，还是给大户更高权重。 再加第 5 个问题：最终建议（全量推广 / 终止 / 一年延长）。
- 关键实验手段：每个分析师的 Agent 会被暗中指定倾向（lean）某一个选项，倾向由抛硬币决定，分析师不知情。系统提示要求 Agent 把该倾向当作自己的立场、为其做最有力的论证、证据明确反对时允许改变主意，但不得误导、不得隐藏数据、不得编造数据支撑不了的论点。
- 环境：网页版 VS Code + Claude Code，模型为 Claude Opus 4.8，High effort；任务中位耗时 65 分钟。
核心结论：分析师在 4 个分析判断上合计有 86% 的时间跟着自己 Agent 的倾向走（若 Agent 毫无影响，期望值约为 50%）；分项为结果口径 92%、比较方法 82%、评估范围 81%、加权方式 90%。而一旦分析师在 Agent 开口前已经表达过自己的偏好（38 例），当 Agent 反对时他们 60% 会改主意，Agent 同意时只有 6% 会改——差距 54 个百分点，但样本小、95% CI 为 24–82 个百分点，且无法排除混淆。
@omarsar0 在推文里的判断（「我们才刚开始理解 AI 如何塑造决策与判断」）基本与论文结论同向：这项研究的价值在于给「人类—Agent 协作」提供了一个可量化的测量起点。
核验过程
官方来源（已读全文）： - Anthropic 研究页：https://www.anthropic.com/research/agents-judgment-calls （读完全文正文，含 Study design、Results、Limitations、What this means 四节） - 论文 PDF 链接（研究页「Read the paper」指向）：https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf
关键说法交叉验证：
| 说法 | 官方来源结论 | 核验状态 |
|---|---|---|
| 「随机对照试验，50 名专业数据分析师」 | 官方：招募 61 人，11 人弃用 Agent，主分析 n=50 | ✅ 已核验 |
| 「4 个两选一分析判断 + 1 个最终建议」 | 官方：Outcome / Comparison method / Coverage / Weighting + 建议 | ✅ 已核验 |
| 「Agent 倾向由抛硬币随机分配」 | 官方：每个决策单独抛硬币，隐藏 system prompt 指定 | ✅ 已核验 |
| 「86% 跟随 Agent 倾向」 | 官方原文：Across the four analytical choices, 86% | ✅ 已核验 |
| 「先前有偏好时，不同意 60% 会改，同意时 6%」 | 官方：38 例样本，官方明确标注 CI 24–82pp、不确定因果 | ✅ 已核验（需附样本量警告） |
| 「77% 复述 Agent 的论证，15% 承认来源是 Agent」 | 官方原文一致 | ✅ 已核验 |
| 「52% 认为最终建议更像是自己的判断」 | 官方：52% rated the final recommendation as more their own；35% 说基本或完全是自己 | ✅ 已核验 |
| 「不用 Agent 的 11 人里有 6 人（55%）犯严重方法错误」 | 官方：6/11 vs 3/50；官方强调两组不可比（无 AI 组经验更少） | ✅ 已核验（附可比性警告） |
| 「48 份问卷中只有 6 人猜到研究主题，无人怀疑 Agent 偏好被操控」 | 官方原文 | ✅ 已核验 |
| 「Claude Opus 4.8 在 123 次运行中 112 次做出同样 5 个选择（无预设倾向时）」 | 官方原文：112 out of 123 runs | ✅ 已核验 |
| 「最终建议可用 4 次抛硬币预测 82%」 | 官方：statistical model predicted 82%，对比 always-guess 61% | ✅ 已核验 |
不确定 / 未覆盖处： - 论文 PDF 正文（实验细节、附录、预注册方案、模型端设置的精确 prompt）本次未逐页读取，报告数字均取自官方研究页正文。 - 官方页面未公布代码仓库或数据仓库链接，因此本条目不填仓库字段。
上手步骤（把结论转成可执行动作）
论文本身是研究而非工具，「上手」= 把它变成团队里可落地的检查项。
1. 在 Agent 里强制「先给选项、再给倾向」 论文明确指出 Agent 只讲一面时，分析师容易直接采纳对方的假设。所以给 Agent 的提示词应要求：对每个开放判断，先列全部可行选项及其代价，再表达自己倾向，并允许被证据推翻。官方给出的理由是——专家很多观点是边权衡边成形的，只被呈现一边就会把对方的假设当成自己的。
2. 让专家「先立观点、后看 Agent」 既然 Agent 同意时人们几乎不改（6%）、反对时却大量改（60%），最有效的干预是在暴露于 Agent 之前记录自己的初始偏好与理由（哪怕只是三行字）。这既防止事后归因失真（本研究自己就吃了这个亏：没记录个体初始观点，所以只能给出群体平均效应，无法说清单个人的受影响程度），也能在评审时留下可审计的证据。
3. 用「随机化小实验」替代「感觉依赖」 论文最可复制的方法论是：给 Agent 随机指定一个倾向，看人类的选择偏移多少。团队内部做一次小规模双盲 A/B（例如 10–20 名分析师、2 个判断点），即可得到自家场景的 deferral 率，而不是套用别人论文里的 86%。
4. 评审时不要只查「有没有正确答案」 官方点明：对这类判断型工作，检查错误或对照参考答案无效——因为两个选项都说得通，成果看起来都合理。评审重点应改为过程性检查：判断点是否被明确提出？是否两种方案都被充分论证？最终结论的假设链是否可追溯？
5. 不要靠「事后问专家」来检测依赖 本研究里只有 6/48 人猜到研究主题，0 人察觉 Agent 偏好被操控，且 77% 的人在解释自己的选择时复述了 Agent 的措辞。事后访谈无法作为独立证据。
6. 把「独立性」写进机构的复核规则 官方提醒：当多个团队都用同类 Agent 得出相同结果时，那个「共识」可能只是同一个模型偏好的重复。若研究/评审依赖独立复核，需要明确哪些环节必须是人的自 判断。
7. 保留人的判断技能本身 官方建议机构显式决定「哪些判断必须由人独立形成」，并给人形成判断所需的时间与资源；否则长期外包执行会让人失去做这类判断的能力。
适用边界
- 被刻意强化的效应：Agent 的倾向是人为注入并被要求明确表达的，现实中若无预设倾向，官方数据是 Claude Opus 4.8 在 123 次运行中 112 次给出相同 5 个选择——即真实默认值偏好可能弱得多。
- 单一任务、单模型、单领域：只有农业顾问这一个约一小时的虚构任务，模型只有 Claude Opus 4.8（High effort），分析师虽是因果推断专家但不熟悉农业领域。
- 对照组不可比：不用 Agent 的 11 人在学历、年限、自评专业度上系统性更弱，因此「无 AI 组错误更多（6/11 vs 3/50）、耗时更长（90 vs 65 分钟）」不能直接归因于「用了 AI 就更好」。
- 统计功效有限：改主意那组只有 38 例，95% CI 24–82 个百分点；个体层面的影响因未记录初始观点而无法估计。
- 多重比较：论文对 10 个个体特征做了探索性检验，只有年龄显著，但校正后消失，作者明确表示不应过度解读。
- 不可外推到的场景：本文结论针对「多个开放判断 + 专家监督 Agent」的形态；对纯执行类任务、强唯一正确答案的任务、或人先有强观点再让 Agent 复核的场景，效应不可直接搬用。
- 本条目未做的事：未逐页阅读论文 PDF 附录；未获取复现所需的 prompt 全文与题目材料；官方未发布代码/数据仓库，因此无法给出一键复现的仓库链接。