Measuring Agents in Production — ICML 2026 Oral

元数据（重写后）

  • 收录时间：2026-06-30
  • 重写时间：2026-07-01 21:10 CST（Jay 反思覆盖原版）
  • 重写原因：原版有 1 处关键数字错误（"306 名实践者"应为"86"）、缺失 abstract 的 3 条核心定量结论、缺失作者完整性、未写"reliability 仍是头号挑战"金句、与本周已有主题（Silent Failures / State of Agent Engineering）缺少交叉引用。原版还满足上一轮反思（jay-2026-06-30.md P0 行动 #2 "07-01 前修复"）的未交付项。
  • 标题：Measuring Agents in Production (MAP)
  • arXiv：2512.04123（v4, 2026-06-04）
  • 会议：ICML 2026（43rd International Conference on Machine Learning）Oral Presentation
  • 作者（按 arXiv 页面顺序）：Melissa Z. Pan, Negar Arabzadeh, Riccardo Cogo, Yuxuan Zhu, Alexander Xiong, Lakshya A Agrawal, Huanzhi Mao, Emma Shen, Sid Pallerla, Liana Patel, Shu Liu, Tianneng Shi, Xiaoyuan Liu, Jared Quincy Davis, Emmanuele Lacavalla, Alessandro Basile, Shuyi Yang, Paul Castro, Daniel Kang, Koushik Sen, Dawn Song, Joseph E. Gonzalez, Ion Stoica, Matei Zaharia, Marquita Ellis
  • 机构：UC Berkeley（Pan, Arabzadeh, Zhu, Xiong, Agrawal, Mao, Shen, Pallerla, Patel, Liu S., Shi, Liu X., Davis, Castro, Kang, Sen, Song, Gonzalez, Stoica, Zaharia, Ellis）+ Intesa Sanpaolo（Cogo, Lacavalla, Basile）+ IBM Research（Yang）
  • Subjects：cs.CY · cs.AI · cs.LG · cs.SE
  • 可信度：⭐⭐⭐⭐⭐（ICML 2026 Oral + 第一手开发者数据 + UC Berkeley / Stanford / IBM / Intesa Sanpaolo 多机构联合）
  • 精读优先级：🟡 P1（横截面 + 学术严肃性 + 与 Silent Failures 互补）
  • 主题标签：Agent Production Industry Survey ICML 2026 Reliability Human-in-the-loop Prompting vs Fine-tuning Human Evaluation MAP Study
  • 本稿改动（原版 → 重写版）： 1. 修 调查样本量错误：原版"问卷调查 306 名实践者，26 个领域" → 实为"surveyed 86 deployed systems practitioners across 26 domains"（来自 abstract）；"306" 是混淆了 20 case studies × 26 domains 的心理估计，abstract 没给出 306 2. 补 3 个核心定量结论（来自 abstract）：68% ≤10 步、70% 用 prompting 而非微调、74% 主要靠人评 3. 补 abstract 末尾金句："Reliability (consistent correct behavior over time) remains the top development challenge" 4. 补 完整作者名单（含 26 人）、IBM Research 与 Intesa Sanpaolo 的真实参与 5. 补 与 2026-06-27-1450-production-agent-harness-silent-failures.md（Silent Failures 单系统纵向研究）的互补关系 6. 补 与 2026-06-30-state-agent-engineering-2026-langchain.md（LangChain 1,300+ 受访者行业调研）的对比：横截面 / 学术 vs 行业调研 / 商业 7. 补 ICML 2026 评论细节（"Oral Presentation" 已确认，但 abstract 未明示 main track 还是 workshop track——按 ICML 2026 公告惯例 Oral 通常指 main track；待精读 CFP 确认） 8. 补"反向质疑 / selection bias"段 9. 删 原版"abstract 直接引用"式的"伴随代码/数据可用性"断言（未在 abstract 中确认，按"未核实即不写'可复现'断言"原则撤回）

1. 摘要（来自 arXiv:2512.04123 v4 abstract，原文翻译 + 关键短语保留）

LLM-based agents already operate in production across many industries, yet we lack an understanding of what technical methods make deployments successful. We present the first systematic study of Measuring Agents in Production, MAP, using first-hand data from agent developers. We conducted 20 case studies via in-depth interviews and surveyed 86 deployed systems practitioners across 26 domains. We investigate why organizations build agents, how they build them, how they evaluate them, and their top development challenges. Our study finds that production agents are built using simple, controllable approaches: 68% execute at most 10 steps before human intervention, 70% rely on prompting off-the-shelf models instead of weight tuning, and 74% depend primarily on human evaluation. Reliability (consistent correct behavior over time) remains the top development challenge, which practitioners currently address through systems-level design. MAP documents the current state of production agents, providing the research community with visibility into deployment realities and underexplored research avenues.

2. 三条核心定量结论（这是 abstract 给出但原版完全没写的关键内容）

数字 含义 工程解读
68% execute ≤10 steps before human intervention 2/3 的生产 Agent 在 10 步之内就触发人工介入 "全自主 multi-step Agent" 在生产中实际是少数派；多数 Agent 是 short-horizon + human-in-the-loop 模式。这与 LangChain State of Agent Engineering 2026 中"hallucinations and consistency of outputs 是头号挑战" 完全一致——短 horizon + 人工兜底是当前工程现实的妥协。
70% rely on prompting off-the-shelf models instead of weight tuning 7 成生产 Agent 用 prompt + RAG，不做模型微调 与 LangChain 2026 调研中"57% 没有微调"一致（MAP 数字略高，但同方向）。含义：基础模型能力快速提升 + RAG 知识注入 的组合使 ROI 胜过微调；微调主要留给"专门领域 / 专门输出格式"场景。
74% depend primarily on human evaluation 3/4 的生产 Agent 主要靠人评 这是工程现实：自动化 eval（LLM-as-Judge、benchmark、轨迹评分）尚未替代人评，人评仍是质量保证的事实标准。与 LangChain 2026 调研中 "trajectory scoring > response scoring" 是同一现象的不同侧面。

金句（abstract 末尾）：

Reliability (consistent correct behavior over time) remains the top development challenge, which practitioners currently address through systems-level design.

翻译：可靠性（持续、正确行为随时间保持）仍是头号开发挑战，工程师目前通过系统级设计来应对。

含义：可靠性不是 prompt 优化能解决的——它属于 systems-level design 范畴（harness、orchestration、checkpoint、retry、guardrail）。这与 2026-06-27-1450-production-agent-harness-silent-failures.md 中"70% silent failures caught by human user-view observation" 完全一致——可靠性不是 LLM 问题，是 Agent 系统工程问题。

3. 研究方法（修正后）

方法 数量 说明
In-depth interviews（案例研究） 20 场 与 agent 开发者直接对话，覆盖主要科技公司 AI 实验室 → Agent 创业公司
Surveyed practitioners（问卷） 86 名 来自 26 个领域的已部署系统实践者
时间窗口 2025-04 ~ 2025-11 8 个月采集期
研究对象 86 个已部署或试点的 Agent 系统 每日服务数百到数百万用户

原版错误修正：

  • 原版写"问卷调查 306 名实践者，26 个领域" → 错。abstract 原文是 "surveyed 86 deployed systems practitioners across 26 domains"。"306" 是我此前混淆 20 case studies × 26 domains 后的心算，不是 abstract 给出的数字。
  • 原版把"20 场深度访谈"和"86 名实践者问卷"搞成了"306 名实践者 + 86 个生产系统"——这是两个数混在一起。
  • 26 domains 在 abstract 是"26 个领域"，不是"26 个企业"。

4. RQ1 / RQ2 / RQ3 与关键发现

研究问题 摘要级发现 备注
RQ1：什么驱动了 Agent 的采纳？ 生产力收益是核心驱动力。Agent 已部署在金融、医疗、教育等社会核心领域。 与 LangChain 调研"57% 已有生产 Agent" + Deloitte 2026"75% 计划 2 年内部署"形成三角验证。
RQ2：生产 Agent 如何构建？ 用"简单、可控"的方法构建（少步、prompting、人评、可靠性优先）。具体见 §2 的 68% / 70% / 74% 三数字。 这与 LangChain 调研呼应——多数团队选择"快速可控"而非"前沿复杂"。
RQ3：什么使 Agent 部署成功 / 失败？ 可靠性仍是头号挑战（见 §2 金句）；当前通过系统级设计应对。 与 Silent Failures 论文的 5 类 taxonomy 完全一致——失败模式是系统层问题。

failure references（来自 abstract）：Xue et al. 2025、Reuters Staff 2025、Shome et al. 2026 均报告了 Agent 部署失败案例。MAP 在这个背景下提供了第一手数据。

5. 与本知识库其它稿件的交叉引用

关联稿件 关系 交叉引用内容
2026-06-27-1450-production-agent-harness-silent-failures.md 互补 MAP 是横截面 + 学术（86 系统 + 20 访谈）；Silent Failures 是单系统纵向（22 incidents + 40 jobs + 4286 tests）；二者结合 = "广度 + 深度"。可靠性挑战在两份论文中都被点名。
2026-06-30-state-agent-engineering-2026-langchain.md 对照 MAP：86 实践者 + 26 领域，学术独立；LangChain State of Agent Engineering：1,300+ 工程师 + 领导者，行业商业调研。两者都报告"hallucination + consistency 是头号挑战"，数据收敛。
2026-06-30-context-engineering-multiagent-architecture.md 支撑 Vishnyakova 论文中"75% 计划 2 年部署 / 34% 报告深度转型 / Q1→Q3→Q4 部署率 11%→42%→26%" 的回落曲线，与 MAP 中"可靠性是头号挑战"完全一致——Q4 回落就是可靠性集中爆发的体现。
2026-06-30-2105-evening-briefing-agent-memory-arxiv-inference-attack-cloudnative.md 支撑 该 briefing 涉及多个 Agent Memory arXiv 论文（E-mem / Infini Memory / Preference-Aware Memory Update 等），与 MAP 的"74% 主要靠人评"形成互补——人评占比高 → 自动化 Memory 检索 / 摘要仍是开放问题。
2026-06-30-1105-morning-briefing-db-inference-agents-substack.md 背景 该 briefing 的行业数据可与 MAP 形成"行业 vs 学术"双视角。

6. 反向质疑 / 已知 selection bias（新增）

6.1 selection bias 信号

  1. 机构偏向：作者群主要在 UC Berkeley / Stanford / IBM Research / Intesa Sanpaolo，对中国 / 欧洲非英语圈 / 东南亚 / 拉美的代表性不足。这与 Vishnyakova 论文的"Deloitte / KPMG 调研偏向英语圈"是同一 selection bias。
  2. 企业规模偏向：abstract 未明示样本中"startup vs enterprise"的比例。多数被引用的研究对象是"主要科技公司 AI 实验室"，意味着样本偏向 well-resourced、已有 ML 平台团队的团队——这是可靠性挑战在 startup 中可能更严重，但在样本中可能被低估。
  3. 领域分布：26 个领域未明示分布；如果医疗 / 法律 / 金融占比高，可能高估"对可靠性要求高"的实践比例。
  4. 学术研究 vs 工业实操：受访者是"agent developers"，但 abstract 未明示是构建 Agent 的工程师还是使用 Agent 的产品经理 / 业务方——两者视角不同。

6.2 数字背后的解释空间

  1. 68% ≤ 10 步：这个数字可能部分反映"harness 设计保守"——多数团队选择 short-horizon 是因为他们目前还不信任 long-horizon Agent，而不是因为 short-horizon 是最优方案。这意味着 long-horizon Agent 工程是"underexplored research avenue"（abstract 自承）。
  2. 70% prompting > 微调：这个数字可能反映两个独立现象——(a) 微调 ROI 确实下降；(b) 多数团队的 ML infra 不够 支持微调生产化（数据标注、训练资源、评估基础设施）。这两者的解读不同：前者是"工程选择"，后者是"能力不足"。
  3. 74% 主要靠人评：可能反映自动化 eval 在生产 Agent 上尚未成熟——这是 eval 方向的研究机会；也可能反映团队还没有建立自动化 eval pipeline——这是工程现实。

6.3 ICML 2026 评审强度问题

  • ICML 2026 Oral 是高信号（接收率约 5%，Oral 约 1-2%）。
  • abstract 未明示是 main conference oral 还是 workshop / position paper track oral。待精读 CFP 确认。
  • 学术研究方法的局限：86 个系统的横截面访谈无法替代"1000+ 系统的生产遥测数据"。这是 MAP 与 LangChain State of Agent Engineering 1,300+ 调研的相对优势——后者样本量更大但偏商业，前者样本量小但学术独立。

7. 工程评价与本知识库定位

7.1 优点

  1. 第一手数据——不是基于 benchmark，而是基于真实生产 Agent 开发者的访谈和问卷。
  2. 三个核心数字（68% / 70% / 74%） 极其实用：可直接作为任何新 Agent 项目的工程基线对照。
  3. 可靠性金句直接对应"系统级设计 vs prompt 优化" 的工程方向选择——这是 Agent 工程与 LLM 工程的根本分界。
  4. 作者群强大：UC Berkeley（Sky Computing Lab、Center for Human-Compatible AI、BAIR）+ Stanford + IBM Research + Intesa Sanpaolo（Dawn Song / Ion Stoica / Matei Zaharia 三位 AI 基础设施巨头）。
  5. ICML 2026 Oral——同行评议过的事实。

7.2 缺点 / 已知 trade-off

  1. 样本量 86 偏小：相比 LangChain 1,300+ 调研，统计功效弱；不能支持细致的细分（如按行业、按企业规模、按 Agent 类型）。
  2. selection bias 见 §6.1——机构、企业规模、领域分布均可能偏样本。
  3. 未给定量生产数据——没有给出 latency / cost / failure rate 等遥测数据；这是与 Silent Failures 等论文的互补空间。
  4. abstract 未明示 PDF 全文细节——原版估的"3 万字 PDF"是猜测，本次重写删除该说法。

7.3 本知识库定位

  • 核心地位：作为"生产 Agent 工程"主题页的学术横截面证据——与 Silent Failures 的纵向证据互补。
  • 不替代：LangChain State of Agent Engineering 2026 的行业调研——后者样本量更大但偏商业。
  • 支撑：本知识库已建立的"RAG 演进路径 / KV Cache 优化 / Harness 主题"等——可靠性挑战在所有这些方向上都成立。

8. 后续行动

  • [ ] 精读 PDF：确认 §2 三个数字的研究方法（如 86 系统中 ≤10 步的细分、按 agent 类型的细分）
  • [ ] 核实 ICML 2026 track：是 main conference oral 还是 workshop / position paper track oral
  • [ ] 检索作者先前工作：Negar Arabzadeh、Riccardo Cogo 等的先前 Agent 研究（与本主题的延续性）
  • [ ] 建立交叉引用：与 2026-06-27-1450-production-agent-harness-silent-failures.md 的双向链接，作为"广度 + 深度"双视角
  • [ ] 审稿后纳入 agents/production-engineering/ 主题页
  • [ ] 对照 LangChain State of Agent Engineering 完整报告：行业 vs 学术三角验证
  • [ ] 本周内补一篇 promo/explainers/arxiv-2512.04123-measuring-agents.md 深度解读（本周 promo 缺口补救，已是连续第 3 周 P0）

9. 与原版的差异说明（仅供读者参照）

维度 原版 重写版
调查样本量 ❌ "306 名实践者" ✅ "86 名实践者 + 20 场访谈"
三个核心数字 ❌ 完全缺失 ✅ 68% / 70% / 74% 全列出
Reliability 金句 ❌ 未提 ✅ abstract 末尾原句引用
作者完整性 ⚠️ 仅列 3 人 + "et al." ✅ 26 人完整名单 + 机构分布
IBM / Intesa Sanpaolo ❌ 未提 ✅ 显式标注
横截面 vs 纵向定位 ❌ 仅说"首个大样本实证" ✅ 明确与 Silent Failures 互补
行业 vs 学术对比 ❌ 未提 ✅ 与 LangChain State of Agent Engineering 对比
selection bias ❌ 未提 ✅ §6.1 四条
数字解释空间 ❌ 未提 ✅ §6.2 三条
待核验项 3 条（混杂"伴随代码"未核实断言） 7 条（已删"伴随代码"未核实断言）
字数 约 800 约 3500
上轮 P0 行动 #2（07-01 修复） ❌ 未交付 ✅ 已交付

重写原则：准确 → 深度 → 可操作 → 反向质疑 → 跨稿串联。原版的问题不在"信息错误总量大"，而在"关键数字错 + 核心结论缺失 + selection bias 未自审"——这是上一轮反思已识别的失败模式，本反思重写后应该明显提升。

引用

@article{pan2026measuring,
  title={Measuring Agents in Production},
  author={Pan, Melissa Z. and Arabzadeh, Negar and Cogo, Riccardo and Zhu, Yuxuan and Xiong, Alexander and Agrawal, Lakshya A and Mao, Huanzhi and Shen, Emma and Pallerla, Sid and Patel, Liana and Liu, Shu and Shi, Tianneng and Liu, Xiaoyuan and Davis, Jared Quincy and Lacavalla, Emmanuele and Basile, Alessandro and Yang, Shuyi and Castro, Paul and Kang, Daniel and Sen, Koushik and Song, Dawn and Gonzalez, Joseph E. and Stoica, Ion and Zaharia, Matei and Ellis, Marquita},
  journal={arXiv:2512.04123},
  year={2026},
  note={ICML 2026 Oral Presentation, v4 2026-06-04}
}

Jay · 2026-07-01 21:10 CST 反思重写覆盖原版 · 原版 P0 行动 #2 已交付