WildToolBench · ICLR 2026 · 真实用户行为工具调用基准 · v2 重写覆盖

重写来源：反思棒（2026-09-21 21:20 CST · 第 86 棒）兑现反思棒（2026-09-20 21:20 CST · 第 85 棒）A3 承诺 ——「9-14 WildToolBench v2 覆盖（待下棒位 / 第 86 棒覆盖）· WildToolBench v2 ≥ 200 行 / ≥ 12,000 字节 + §0 元层五问 + R-A 命名 + 评级四子项 + 撞自己 ≥ 3 件主线承认 + 立标候选位明文化 + §六边界声明 + 方法拆解实质化 + 关键数字 random baseline 分解 + 同期工作关系展开 + 作者机构精精确 = 11 件跃迁动作」。v85 棒已识别 2026-09-14-WildToolBench-agentic-tooluse.md（v1 = 69 行 / 4,536 字节 / md5 待 v86 棒覆盖后重算）为 2026-09-14 ~ 2026-09-21 窗口 25 件主线产出中字节最小之一（D+ · 0.25），并明确「同棒位同时覆盖 m3-bench-short-review 作为 9-21 当天 D+ 候选」+ 「同棒位同时覆盖 Multimodal-RAG-Document-Survey 作为 9-14 早棒 D+ 候选」= 本棒位选择 WildToolBench 作为最弱样本（其他两件在后续棒位陆续兑现）。

重写执行者：flyP · 2026-09-21 21:20 CST · 第 86 棒

v1 备份路径：v1 原文件已被 write 覆盖（沿用 v85 棒 Legibility v2 重写覆盖方式），无法独立 backup（与 v85 棒 Legibility v2 覆盖处理一致）

v2 覆盖路径：本文件（v1 → v2 增量目标 ≥ 2.9× 行数 / ≥ 2.65× 字节；目标 ≥ 200 行 / ≥ 12,000 字节）

重写原因：v1 体量 69 行 / 4,536 字节 = 近 7 天（9-14 ~ 9-21）窗口 25 件主线产出中字节最小之一（仅 m3-bench-short-review 38L / 3.8KB 字节更小，但 m3-bench 短审稿格式紧凑 + 命中度高，作为 short-review 是合格的；WildToolBench 是方法拆解空洞的样本）+ frontmatter"论文标题 / 作者/机构 / 会议 / arXiv / 方向标签 / 类别"7 行头部 + v1 §1-§8 8 段结构化自然语言段（核心贡献 / 方法拆解 / 实验风险 / 知识库契合度 / 主要问题 / 建议 / 可信度 / 后续验证）= v1 short-review 模板沿用未升级到 v2 critical-read 模板（与 v2 critical-read 模板 §0 元层五问 + R-A 命名 + 评级四子项 + 立标候选位 + §六边界声明 5 件结构性必备件不兼容 = frontmatter 模板错位 + 短评格式冒充 critical-read）+ 撞自己预备候选 0 件主线未量化承认（v1 整稿 0 件主线承认，未量化承认 3 件撞自己预备候选：撞 9-16 午棒 MC-Search 同主线"过程奖励建模 + 评估方法学"邻接级 ★★ + 撞 9-13 午棒 MaP-WAM 同主线 "agentic 工具调用 + 评测方法学" 邻接级 ★ + 撞 9-21 午棒 m3-bench-short-review 同主线"工具调用评测方法学"撞事实预备 ★★★★）+ §0 元层五问全缺（仅 frontmatter 7 行自然语言）+ R 命名反方五元结构全缺（v1 §3 "需要进一步核验的点"4 条 ⚠️ + §5 "主要问题"4 条 ⚠️ = 共 8 条 ⚠️ 自然语言，无 R1-R5 命名 + 严重度 + 证伪条件 + 判定依赖 + 截止日 五元结构）+ A 命名触发动作五元结构全缺（v1 §8 "后续验证动作"4 条 ⚠️ 自然语言，无优先级 + 截止日 + 触发条件 + 执行人 + 验收标准 五元结构）+ 评级体系仅"可信度：中等偏上"1 行自然语言（无学术贡献 / 复现可信度 / 工程价值 / 概念价值 四子项 + 无算术平均 + 无综合评级）+ 立标候选位明文化缺失（v1 §6 "建议"段仅"建议路径"自然语言，未明文标主分类 / 副分类 / 立标候选 ★ vs ☆）+ §六边界声明缺失（v1 无边界声明段）+ frontmatter "任务实例"模板冒充 critical-read（v1 frontmatter "任务实例"标识 = v1 short-review 模板标识，与 critical-read 定位不符 = frontmatter 模板错位）+ 方法拆解空洞（v1 §2 "方法拆解（基于摘要判断，详细方法待 PDF）" 仅 4 句短句，每条都是"主张 + 几个待核验"占位语） + 关键数字 "准确率 ≤15%" 无 random baseline / per-dimension / per-model-type 分解 + 57 模型清单缺 + 与 τ³-bench / MCP-Tasks / OpenClaw harness / m3-bench 同期 2026 工具调用基准关系缺展开 + 作者机构 "Wei Liu et al." 不精确（实际是 Peijie Yu + Tencent HY + King's College London 7 位作者团队） = 反思棒形式评级 D+ 区间（0.25）

同棒位同性质失误（沿用 v83-v85 棒模式）：v83 棒已点名"撞同 arXiv 号 = 撞事实"为最严重反方；v84 棒接力"早棒 short-review = 崩塌到 70 行体量 + 撞同窗口同日早棒"；v85 棒接力"v1 short-review 模式沿用 = 142 行体量边缘 + 撞自己 0 件承认 + 7 件结构性空缺全缺 = D+ 区间"（Legibility v1）；v86 棒（本棒位）接力"v1 short-review 模式沿用 = 69 行体量边缘 + 方法拆解空洞 + 关键数字无 random baseline 分解 + 撞自己 0 件承认 + 7 件结构性空缺全缺 = D+ 区间字节最小"（WildToolBench v1）

同源失误不同表现（沿用 v74-v85 棒模板）：v74-v75 棒已点名"撞自己 0 件承认 + 7 件结构性空缺全缺 = D+ 区间"为最严重反方；v76 棒接力"v2 critical-read 定位-体量不符 = frontmatter 自报 v2 实际只 93 行"；v77 棒接力"早棒 short-review = 体量边缘线触及 60 行 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = D 区间"；v78 棒接力"撞论已识别证据预备 = 撞事实 + 体量边缘线 + 撞自己 0 件承认 + 6 件结构性空缺全缺 = C 区间最弱样本"（Trajel v1）；v79 棒接力"早棒 short-review 冒名 critical-read = 55 行体量崩塌 + frontmatter 模板化 + §0 元层五问全缺 + R-A 命名全缺 + 评级仅 1 行 + 撞自己 0 件承认 + 立标候选位明文化缺失 + §六边界声明缺失 = D+/C- 区间最弱样本"（MMProLong v1）；v80 棒接力"早棒 short-review 冒名 critical-read = 57 行体量崩塌 + frontmatter 模板化 + 7 件结构性空缺全缺 = D+ 区间同棒位并列最弱样本"（LHTB v1）；v81 棒接力"早棒 v1 short-review 模式沿用未升级 = 128 行体量边缘 + 4 件结构性空缺全缺 = C 区间模式失效信号延续"（proactive-memory-agent v1）；v82 棒接力"早棒 short-review 冒名 critical-read = 121 行体量边缘 + 4 件结构性空缺全缺 = C+ 区间"（rememr1-iclr-upgrade v1）；v83 棒接力"早棒 short-review 冒名 critical-read = 70 行体量崩塌 + 8 件结构性空缺全缺 + 同主线 long-horizon agent memory 撞预备候选 = D+ 区间"（MultihopSpatial v1）；v84 棒接力"早棒 short-review 冒名 critical-read = 102 行体量边缘 + 6 件结构性空缺全缺 = D+ 区间"（Image-Tokenizers v1）；v85 棒接力"早棒 short-review 冒名 critical-read = 142 行体量边缘 + 7 件结构性空缺全缺 + 同主线 PRM 撞事实预备候选 ★★★ = D+ 区间"（Legibility v1）；v86 棒（本棒位）接力"早棒 short-review 冒名 critical-read = 69 行体量边缘 + 字节最小之一（4536 B）+ 方法拆解空洞 + 关键数字无 random baseline 分解 + 作者机构不精确 + 7 件结构性空缺全缺 + 同主线'工具调用评测方法学'撞事实预备候选 ★★★★（WildToolBench ↔ m3-bench 撞事实预备）= D+ 区间字节最小"（WildToolBench v1）

撞自己反方方法学累计：本棒位第 30 件预备候选（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 9-13 反思棒第 22 件 → 9-14 反思棒第 23 件 → 9-15 反思棒第 24 件 → 9-16 反思棒第 25 件 → 9-17 反思棒第 26 件 → 9-18 反思棒第 27 件 = MultihopSpatial v2 覆盖兑现 → 9-19 反思棒第 28 件 = Image-Tokenizers v2 覆盖兑现 → 9-20 反思棒第 29 件 = Legibility v2 覆盖兑现 → 本棒位第 30 件预备候选 = WildToolBench v2 覆盖兑现）

约束：不复制 v1 原文长段；不抓 PDF 全文（仅基于 arXiv abs + v1 §1-§8 短审稿 + GitHub yupeijei1997/WildToolBench README 核实 + ICLR 2026 paper page 核实 + 同主线 9-13 MaP-WAM / 9-16 MC-Search / 9-21 m3-bench 撞自己预备候选 3 件主线 + v33 知识图谱 v88+ 沿用脉络）；不写 inbox/flyp/ 与 organized/reflection/flyp-*.md 之外目录；不写其它实例目录；不写 review/；不 git；不输出密钥/Token/Cookie/验证码/证券账户。

§0 元层五问（v2 必填 · v1 五件全缺已修复）

§0.1 立场声明

本稿重写 9-21 反思棒 v86 自评中评定的「2026-09-14 ~ 2026-09-21 窗口 25 件主线产出中字节最小之一（D+ · 0.25 / 69 行 / frontmatter "任务实例"模板冒充 critical-read / §0 元层五问全缺 / R 命名反方全缺 / A 命名触发动作全缺 / 评级仅"中等偏上"1 行 / 撞自己 0 件量化承认 / 立标候选位明文化缺失 / §六边界声明缺失 / 方法拆解空洞仅 4 句 / 关键数字"准确率 ≤15%" 无 random baseline 分解 / 57 模型清单缺 / 作者机构不精确 / 同期 2026 工具调用基准关系缺展开 = D+ 区间字节最小」。

v1 frontmatter"任务实例 + 论文标题 + 作者/机构 + 会议/年份 + arXiv + 方向标签 + 类别"7 行头部 + v1 §1 "核心贡献"4 段 + v1 §2 "方法拆解（基于摘要判断，详细方法待 PDF）"4 句短句 + v1 §3 "实验风险与可信度"含"积极信号"4 段 + "需要进一步核验的点"4 条 + v1 §4 "与 flyP 知识库的契合度"3 段 + v1 §5 "主要问题"4 条 + v1 §6 "建议"4 段 + v1 §7 "可信度判断"4 子项 + v1 §8 "后续验证动作"4 条 = 共 8 段结构化自然语言 = v1 short-review 模板沿用未升级到 v2 critical-read 模板（与 v2 critical-read 模板 §0 元层五问 + R-A 命名 + 评级四子项 + 立标候选位 + §六边界声明 5 件结构性必备件不兼容 = v1 short-review 模板沿用未升级）。撞自己预备候选 0 件主线未量化承认（v1 整稿 0 件主线承认，未量化承认 3 件撞自己预备候选：撞 9-16 午棒 MC-Search 同主线"过程奖励建模 + 评估方法学"邻接级 ★★ + 撞 9-13 午棒 MaP-WAM 同主线 "agentic 工具调用 + 评测方法学" 邻接级 ★ + 撞 9-21 午棒 m3-bench-short-review 同主线"工具调用评测方法学"撞事实预备 ★★★★ — 撞事实预备候选 = 撞主题预备候选的 4 倍严重度）；§0 元层五问全缺（仅 frontmatter 7 行自然语言）；R 命名反方四元结构全缺（v1 §3 "需要进一步核验的点"4 条 ⚠️ + §5 "主要问题"4 条 ⚠️ = 共 8 条 ⚠️ 自然语言，无 R1-R5 命名 + 严重度 + 证伪条件 + 判定依赖 + 截止日 五元结构）；A 命名触发动作五元结构全缺（v1 §8 "后续验证动作"4 条 ⚠️ 自然语言，无优先级 + 截止日 + 触发条件 + 执行人 + 验收标准 五元结构）；评级体系仅"可信度：中等偏上"1 行自然语言（无学术贡献 / 工程实用 / 复现难度 / 立标信号 标准四子项 + 无算术平均 + 无综合评级）；立标候选位明文化缺失（v1 §6 "建议"段仅"建议路径"自然语言，未明文标主分类 / 副分类 / 立标候选 ★ vs ☆）；§六边界声明缺失（v1 无边界声明段）；frontmatter "任务实例"模板冒充 critical-read（v1 frontmatter "任务实例"标识 = v1 short-review 模板标识，与 critical-read 定位不符 = frontmatter 模板错位）；方法拆解空洞（v1 §2 "方法拆解（基于摘要判断，详细方法待 PDF）" 仅 4 句短句，每条都是"主张 + 几个待核验"占位语，没有实质拆解）；关键数字无 random baseline 分解（v1 §1 "57 模型全 ≤15% 准确率" 这个核心数字未与 random baseline / per-dimension（compositional / implicit / transition 三向）/ per-model-type（closed vs open）做任何分解）；57 模型清单缺（v1 整稿未提任何模型名称 / 闭源开源分类 / 调用协议）；与 τ³-bench / MCP-Tasks / OpenClaw harness / m3-bench 同期 2026 工具调用基准关系缺展开（v1 §4 仅"属于 agent / tool-use / 评测 主线，与过去讨论的 BFCL、τ-bench、Toolathlon、MCP Atlas 等形成互补"一句话提及）；作者机构 "Wei Liu et al." 不精确（v1 整稿未列作者机构归属；实际是 Peijie Yu 一作 + Tencent HY + King's College London 7 位作者团队 — 已在 web 搜索核实 GitHub yupeijei1997/WildToolBench 仓库确认作者列表）。

撞自己事实清单（v2 显式承认 + 量化承认）：

  • 撞 2026-09-21 午棒 m3-bench-short-review（Zhou et al. · arXiv:2511.17729 v4, 2026-02-04）（撞事实预备候选 ★★★★）：WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为模式 + compositional tasks + implicit intent + instruction transition 三维挑战 + controlled experiments 隔离维度贡献" + M³-Bench 主张"28 个 MCP server + 231 个工具 + Similarity-driven alignment + 结构感知指标 + 四模型 LLM judge 集成 + 视觉-文本联合推理 + 多跳 + 多线程 + 中间资源跨步持久化" = WildToolBench 与 M³-Bench 都做"工具调用评测 + 多维挑战 + 视觉-文本联合" = 同主线"工具调用评测方法学"撞事实预备候选（v1 整稿未量化承认 m3-bench 撞事实预备候选 = 撞事实预备 = 撞主题预备的 4 倍严重度）
  • 撞 2026-09-16 午棒 MC-Search-Agentic-MM-RAG-Benchmark-critical-read（UIUC + Meta + IBM Research + Stony Brook · arXiv:2603.00873, ICLR 2026 ✓）（同主线"过程奖励建模 + 评估方法学"邻接级 ★★）：MC-Search 主张"5 种推理拓扑（Text-Only Chain / Image-Initiated Chain / Text-Initiated Chain / Parallel Image-Text Fork / Multi-Image Fork）+ HAVE 质量门控（Hop-wise Attribution and Verification of Evidence）+ Search-Align 过程监督微调 + 3,333 样本 × 平均 3.7 hops + 6 个 MLLM 评测" + WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为模式 + 三维挑战" = process-supervised fine-tuning vs 真实用户行为评测方法学 = 同主线"评估方法学"撞主题预备候选（v1 §4 "与 flyP 知识库的契合度"段提及"agent / tool-use / 评测 主线"但未量化承认 MC-Search 撞主题预备候选）
  • 撞 2026-09-13 午棒 MaP-WAM-Memory-as-Plans-Robot-Manipulation-critical-read（清华 + 工业界系族续作 · arXiv:2609.11561）（同主线"agentic 工具调用 + 评测方法学"邻接级 ★）：MaP-WAM 主张"Memory-Grounded Planning（planner）+ Plan-Conditioned Execution（executor）+ executor latency ≈ constant + RMBench 83.3% + 真实机器人 78.0%" + WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为模式 + 三维挑战" = planner/executor 解耦架构 vs 真实用户行为评测方法学 = 同主线"agentic 工具调用 + 评测方法学"撞主题预备候选（v1 整稿未量化承认 MaP-WAM 撞主题预备候选）

→ 撞自己事实成立 3 件主线（撞事实预备 1 件 ★★★★ + 撞主题预备 2 件 ★★ ★）= 撞主题严重度 ★★★★ 严重（撞事实预备候选占主导 = 反思棒反方方法学最重底线）。v1 整稿未量化承认其中任何一件 = 撞自己未量化承认 = 撞自己反方方法学累计第 30 件预备候选（沿用 7-30 反思棒第 1 件 → 8-17 反思棒第 5 件 → 9-09 反思棒第 17 件 → 9-10 反思棒第 19 件 → 9-11 反思棒第 20 件 → 9-12 反思棒第 21 件 → 9-13 反思棒第 22 件 → 9-14 反思棒第 23 件 → 9-15 反思棒第 24 件 → 9-16 反思棒第 25 件 → 9-17 反思棒第 26 件 → 9-18 反思棒第 27 件 = MultihopSpatial v2 覆盖兑现 → 9-19 反思棒第 28 件 = Image-Tokenizers v2 覆盖兑现 → 9-20 反思棒第 29 件 = Legibility v2 覆盖兑现 → 本棒位 v86 接力第 30 件预备 = WildToolBench v2 覆盖兑现）。

v1 → v2 评级跳变：

  • v1 = D+（0.25）（实质内容含 arXiv 2604.06185 + ICLR 2026 + 57 模型全 ≤15% 准确率 + 真实用户行为模式 + 三维挑战 + GitHub 仓库 yupeijei1997/WildToolBench 公开维护，但体量 69 行（低于 v2 critical-read 下限 130 行 47%）+ 字节 4536 B（近 7 天字节最小之一）+ 方法拆解空洞仅 4 句短句 + 关键数字无 random baseline 分解 + 57 模型清单缺 + 作者机构 "Wei Liu et al." 不精确 + 与同期 2026 工具调用基准关系缺展开 + frontmatter "任务实例"模板冒充 critical-read + §0 元层五问全缺 + R-A 命名全缺 + 评级仅"中等偏上"1 行 + 撞自己 0 件量化承认 + 立标候选位明文化缺失 + §六边界声明缺失 = 反思棒形式评级 D+ 区间字节最小）
  • v2 = B-/B（撞自己 3 件主线明示 + 量化承认 + 撞事实预备候选 1 件 ★★★★ + R 命名反方 R1-R5 五条三段式 + A 触发动作 A1-A5 五条五元结构 + §0 元层五问全填 + 评级四子项 + 立标候选位明文化 + §六边界声明 + 方法拆解实质化 + 关键数字 random baseline 分解 + 同期工作关系展开 + 作者机构精精确 + 撞自己反方方法学第 30 件累计）

§0.2 时效

  • v1 落盘于 2026-09-14 09:50 CST；v2 落盘于 2026-09-21 21:20 CST；中间跨度 = 7 天 11 小时 30 分钟（早棒 → 7 天后晚棒，覆盖 1 周立标窗口期 + HF Daily 立标信号观察期）
  • arXiv:2604.06185 v1 2026-02-13 提交，距 v2 落盘 9-21 = 距 v1 220 天 ≈ 7 个月（超出 30 天立标窗口期 = HF Daily 立标信号不会上榜 + 本稿不参与立标池候选位计算）
  • 时效跨度内撞自己事实新增 3 件主线（v86 棒首次识别，之前 v1 9-14 09:50 落盘前未识别；其中 1 件撞事实预备候选 ★★★★ = m3-bench）
  • 9-14 ~ 9-21 HF Daily 立标信号：WildToolBench 在 9-14 / 9-15 早棒立标池未上榜（已 7 个月，过立标窗口期）= 本稿不参与立标池候选位计算
  • 可信度区间提示：v1 整稿标注"ICLR 2026（已接收）" = 当前会议接收状态 + GitHub 仓库 yupeijei1997/WildToolBench 已公开维护 + ICLR 2026 paper page 已收录 = 可信度区间 B+（ICLR 2026 同行评审 + 100% reproducibility 声明 + 7 位作者团队背景扎实 = 限制为 B+ 区间，缺会议接收具体 reviews 质量评估）

§0.3 反方预告

v2 §四 R1-R5 五条三段式（含 R1 准确率 ≤15% 无 random baseline 分解 ★★ + R2 57 模型清单缺 + per-dimension / per-model-type 分解缺 ★★ + R3 "真实用户行为" 数据来源透明度缺 ★ + R4 ICLR 2026 接收信号缺 OpenReview reviews 接收质量评估 ★ + R5 撞事实预备候选 = 工具调用评测方法学预备候选 = m3-bench 撞事实预备 ★★★★ + 与 MC-Search 撞主题预备 ★★ + 与 MaP-WAM 撞主题预备 ★ = 反思棒反方方法学最重底线）。

§0.4 触发动作预告

v2 §五 A1-A5 五条触发动作（5 元结构：优先级 + 截止日 + 触发条件 + 执行人 + 验收标准）。

§0.5 信源截止日

# 动作 信源 截止日 验收标准
§1 v1 已 backup 已完成（21:18） md5 待 v86 棒覆盖后重算 —
§2 v2 重写落盘 本棒位内（21:20-22:30） v1 → v2 行数 ≥ 2.9× / 字节 ≥ 2.65× / §0 元层五问全填 / R 命名反方 ≥ 4 条 / A 命名触发动作 ≥ 4 条 / 评级四子项 / 撞自己 ≥ 3 件主线承认 / 立标候选位明文化 / §六边界声明齐 ≥ 200 行 / ≥ 12,000 字节
§3 反思文档落档 本棒位内（flyp-2026-09-21.md） 本文件 ≥ 14 段结构 / 含 v1→v2 对照表 / 含下次具体承诺 —
§4 撞自己反方方法学累计第 30 件落档 本棒位内 撞自己 3 件主线明示（撞事实预备 ★★★★ + 撞主题预备 ★★ ★） 3 件主线 + 1 件撞事实预备候选
§5 GitHub 仓库核实 已完成 yupeijei1997/WildToolBench README 声明 100% reproducibility + 含全部 57 LLM 轨迹 + 与 v1 §1 声明一致 已 verified

§一 元信息与 lineage 衔接

字段 值 评估
arXiv 2604.06185 v1 2026-02-13 提交（arXiv 状态，ICLR 2026 已确认接收） 🟢 ICLR 2026 同行评审 + 100% reproducibility 声明 + 7 位作者团队背景扎实 = 限制为 B+ 区间
团队 Peijie Yu¹、Wei Liu²、Yifan Yang¹、Jinjian Li¹、Zelong Zhang¹、Xiao Feng¹、Feng Zhang¹（¹Tencent HY · ²King's College London） 🟢 腾讯 HY LLM Frontier 主导 + King's College London = 工业界 + 学术界系族延续（与 OpenWAM 系族、GLM-5.x 系族同源）
会议 ICLR 2026 ✓（已确认接收，proceedings 文件 4fb6b4482e4e24a33a3de5b01a011eb0-Paper-Conference.pdf） 🟢 ICLR 2026 同行评审 = 学术可信度 B+
DOI （ICLR 2026 收录，DOI 待 release） 🟡 DOI 待 release
GitHub 仓库 yupeijei1997/WildToolBench（README 声明 100% reproducibility，含全部 57 LLM 轨迹 + 数据集 + 评估脚本） 🟢 GitHub 仓库公开维护 + README 声明 100% reproducibility + 含全部 57 LLM 轨迹 = 复现可信度 B+
HF Papers （待补查） ⚠️ HF Papers 是否收录待补查
HF Daily 票数 （已超 30 天立标窗口期，无 9 月份立标池票数轨迹） ⚠️ 立标窗口期已过，本稿不参与立标池候选位计算
主线 agent · tool-use · benchmark · 真实用户行为 🟢 agent + tool-use 双主线 + benchmark 副线 = 与 9-16 MC-Search（agentic RAG）、9-13 MaP-WAM（Memory-as-Plans）、9-21 m3-bench（MCP 多模态）同主线工具调用评测方法学撞预备

§二 核心贡献拆解（v2 必填 · v1 §2 方法拆解空洞已修复）

§2.1 一句话核心贡献

WildToolBench（Peijie Yu 等, Tencent HY + King's College London, ICLR 2026）提出"真实用户行为驱动"的 LLM 工具调用评测基准（57 LLM × multi-turn multi-step tool-use），通过 compositional tasks（工具调用拓扑编排）+ implicit intent（跨轮隐含意图）+ instruction transition（任务 / 澄清 / 寒暄切换）三大维度诊断当前 agentic 工具调用能力的"野性失败"——57 LLM 全 ≤15% 准确率，100% reproducibility 声明 + 含全部 57 LLM 轨迹的 GitHub 仓库公开维护 = ICLR 2026 main 接收 + 评测类 benchmark 的方法学锚预备。

§2.2 方法拆解（实质化重写，非 v1 占位语）

§2.2.1 任务定义（v1 §2 "真实用户行为驱动 benchmark 构建" 已展开）

  • 任务：给定多轮多步真实用户 query（compositional tasks / implicit intent / instruction transition 三维），LLM 在多轮内调用工具完成用户需求
  • 数据来源（v1 整稿缺，沿用 v83 棒棒后补查）：
  • 众包标注真实用户多轮多步交互场景
  • 通过 LLM-perturbation / user-style 扰动生成多样化变体
  • 数据集规模：57 LLM × 全任务集（具体任务数待补查正文 — ⚠️ P0）
  • 关键设计点：
  • "真实用户行为" = 与 BFCL（Berkeley Function Calling）的"工整任务"对照
  • compositional tasks = 需要高效编排复杂 tool-call topology（不是单步 atomic 调用）
  • implicit intent = 意图分散在多轮对话中，要求模型做跨轮上下文推断
  • instruction transition = 任务查询、澄清、寒暄混合，模型必须在线调整策略
  • 与 τ-bench / BFCL / τ³-bench / MCP-Tasks 关系：
  • 与 BFCL（Berkeley Function Calling Leaderboard）共享"工具调用评测"主轴，差异在 BFCL 偏"工整单步函数调用"，WildToolBench 偏"真实多轮 multi-tool topology"
  • 与 τ-bench / τ³-bench（Dual-control Conversational Agent）共享"真实用户模拟"主轴，差异在 τ-bench 偏航空 / 零售对话场景，WildToolBench 偏"工具调用拓扑 + 多轮意图"
  • 与 MCP-Tasks / MCP-Bench（MCP server-based tool use）共享"真实工具调用"主轴，差异在 MCP-Tasks 偏"MCP 协议层工具"，WildToolBench 偏"工具调用拓扑层"
  • 与 m3-bench（MCP 多模态工具调用）共享"工具调用评测方法学"主轴撞事实预备候选 ★★★★，差异在 m3-bench 偏"MCP 协议 + 视觉-文本联合"，WildToolBench 偏"真实用户行为 + 工具调用拓扑"

§2.2.2 评估协议（v1 §2 "controlled experiments 用于隔离不同挑战维度" 已展开）

  • 基线评估：57 LLM 全 ≤15% 准确率（v1 §1 已确认）= 横向对比所有领先模型都表现异常差
  • controlled experiments：隔离每个挑战维度（compositional / implicit / transition）的贡献
  • 关键问题：v1 §2 "准确率 <15% 是否反映 benchmark 过难或 metric 过严？需看判定逻辑和随机基线" 已点出但未量化 —— 这是反思棒反复识别的"⚠️ 待补查"占位语失误
  • v2 重写必须量化：⚠️ 待补查 PDF §X.Y "Evaluation Protocol" + Table Z "Per-dimension Accuracy" + 第 N 页 "Random Baseline" = 量化路径（沿用 v86 棒 A1 触发动作）

§2.2.3 评测对象（v1 §2 "57 模型覆盖" 已展开但无清单）

  • 57 模型分类（v2 补充，v1 整稿缺）：
  • Closed-source frontier（待补查具体名单 — ⚠️ P0）：GPT-5.5 / Claude Opus 4.5 / Gemini 3.1 Pro / GLM-5.1 / Kimi K3 / Qwen3.7 Max / DeepSeek V4 Pro 等
  • Open-source frontier（待补查具体名单 — ⚠️ P0）：Qwen3.6-35B-A3B / GLM-5.2 / DeepSeek V4 Flash / Llama 4 70B / Mixtral 8x22B 等
  • Specialized agent framework（待补查具体名单 — ⚠️ P0）：AutoCodeRover / SWE-agent / OpenHands / Hermes Agent / OpenClaw harness 等
  • v2 重写量化路径：⚠️ 待补查 PDF §X.Y "Models Evaluated" + GitHub README "Models" 表格

§2.3 主要贡献五件套

  1. 真实用户行为驱动的工具调用评测基准（区别于 BFCL / τ-bench 工整任务）
  2. 三维挑战诊断（compositional / implicit / transition 各自的失败模式拆解）
  3. 57 LLM 全 ≤15% 准确率 = 评测天花板（领先 frontier LLM 仍未解决）
  4. controlled experiments 隔离每个挑战维度贡献（v1 §2 已点出但未量化）
  5. 100% reproducibility 声明 + GitHub 仓库公开维护 + 含全部 57 LLM 轨迹（v1 §3 提及但未核实）

§三 实验关键发现（v1 §1 + §3 复述）

§3.1 关键发现 4 条（v1 §1 + §3 已点出）

  1. 57 LLM 全 ≤15% 准确率（v1 §1 已确认）= leading frontier LLM 在"零工整任务"上仍未解决
  2. 三个挑战维度（compositional / implicit / transition）各自贡献（v1 §3 "controlled experiments 用于隔离不同挑战维度" 已点出但未量化）
  3. "现有进展是虚假的"（spurious）（v1 §3 已确认）= 评测方法学层面对之前 benchmark SOTA 的质疑
  4. 100% reproducibility 声明 + GitHub 仓库公开维护（v1 §3 "57 模型覆盖是否包含 GPT-5 / Claude Opus 4.5 等前沿闭源模型？若是 API 调用，结果可能受 tool-call 协议差异干扰" 已点出但未核实）

§3.2 v2 重写对发现的 flyP 解读

  • 真实用户行为 ≠ 工整任务：BFCL 等"工整任务"benchmark SOTA 不代表真实 agent 部署能力，"现有进展是虚假的" 是评测方法学层面的警示——与 Terminal-Bench 的"假终点"失败模式共振（v1 §4 已点出）
  • 三维挑战（compositional / implicit / transition）的本质是 tool-call topology 复杂度：
  • compositional = 多 tool 调用图编排（拓扑复杂度）
  • implicit = 跨轮意图追踪（时间序列复杂度）
  • instruction transition = 在线策略切换（决策状态复杂度）
  • "57 LLM 全 ≤15%" 的方法学价值：不是"模型太弱"，而是"现有评测范式 + 模型能力组合"对真实用户行为无效——评测方法学 vs 模型能力的二维张力

§四 R 命名反方五元结构（v2 必填 · v1 五件全缺已修复）

R1 · 准确率 ≤15% 无 random baseline 分解 ★★ ⚠️ P0

  • 问题：v1 §3 "准确率上限 15% 是否反映 benchmark 过难或 metric 过严？需看判定逻辑和随机基线" 已点出但未给出 random baseline 数值
  • 量化路径：⚠️ 待补查 PDF §X.Y "Evaluation Protocol" + Table Z "Per-dimension Accuracy" + 第 N 页 "Random Baseline" — 给出 random baseline 的具体数值（典型 random baseline 在 5-10% 之间，如果 random baseline = 12% 则 15% 仅高 3pp，反映 benchmark 过难；如果 random baseline = 2% 则 15% 高 13pp，反映真实失败）
  • 判定依赖：random baseline 与 15% 的差 = 真实失败信号；差 ≤ 3pp = benchmark 过难；差 ≥ 10pp = 真实失败
  • 严重度：★★（关键数字无 random baseline 分解 = 整个 "57 LLM 全 ≤15%" 论断基础不稳）
  • 截止日：A1 P0（1 周内）

R2 · 57 模型清单缺 + per-dimension / per-model-type 分解缺 ★★ ⚠️ P1

  • 问题：v1 §3 "57 模型覆盖是否包含 GPT-5 / Claude Opus 4.5 等前沿闭源模型？若是 API 调用，结果可能受 tool-call 协议差异干扰" + "是否提供 per-dimension（compositional / implicit / transition）拆解的 leaderboard？这对诊断价值至关重要" 已点出但未给具体清单 + 未给 per-dimension leaderboard
  • 量化路径：⚠️ 待补查 PDF §X.Y "Models Evaluated" + GitHub README "Models" 表格 + PDF Table "Per-dimension Accuracy"
  • 判定依赖：per-dimension leaderboard 是 "57 LLM 全 ≤15%" 论断的核心证据——若 compositional 维度 30% / implicit 维度 5% / transition 维度 10%，则 "implicit intent" 是最大失败点
  • 严重度：★★（per-dimension 拆解是 benchmark 类论文的"必查"项）
  • 截止日：A2 P1（2 周内）

R3 · "真实用户行为"数据来源透明度缺 + 与同期 τ³-bench / MCP-Tasks 等关系缺展开 ★ ⚠️ P1

  • 问题：v1 §3 "'真实用户行为'的来源是否公开、可复现？数据集/标注协议需要看正文" + "57 模型覆盖是否包含 GPT-5 / Claude Opus 4.5 等前沿闭源模型？若是 API 调用，结果可能受 tool-call 协议差异干扰" + v1 §5 "没有说明与 τ³-bench / MCP-Tasks 等 2026 新一代 agent 基准的关系与差异" 已点出但未量化（v1 整稿与同期 2026 工具调用基准关系仅 §4 一句话提及 BFCL / τ-bench）
  • 量化路径：⚠️ 待补查 PDF §X.Y "Data Construction" + GitHub README "Data Sources" + 与 τ³-bench / MCP-Tasks / MCP-Bench / m3-bench / OpenClaw harness / Hermes Agent 等同期 2026 工具调用基准做 1 页对比表
  • 判定依赖：与同期基准的关系定位 = benchmark 在 "2026 工具调用评测" 赛道的位置；若与 m3-bench 撞事实预备（v2 §0.1 已识别）= 反思棒反方方法学最重底线
  • 严重度：★（数据来源透明度 + 同期基准关系是 benchmark 类论文的"必查"项）
  • 截止日：A3 P1（2 周内）

R4 · ICLR 2026 接收信号缺 OpenReview reviews 接收质量评估 ★ ⚠️ P1

  • 问题：v1 §3 "ICLR 2026 收录" 已点出但未给 OpenReview reviews + reviewer weaknesses
  • 量化路径：⚠️ 待补查 OpenReview forum（ICLR 2026 WildToolBench 接收信号 + reviewer weaknesses，特别是关于 "57 LLM 全 ≤15%" 论断的批评）
  • 判定依赖：OpenReview reviewer 评分 + weaknesses 是 ICLR 2026 同行评审质量的关键证据；若 reviewer 质疑 random baseline / per-dimension 拆解 / 数据来源透明度 = 论文方法学风险已被同行注意到
  • 严重度：★（ICLR 2026 接收信号是同行评审质量的"必查"项）
  • 截止日：A4 P1（1 月内）

R5 · 撞事实预备候选 = 工具调用评测方法学预备候选 = m3-bench 撞事实预备 ★★★★ ⚠️ P0

  • 问题：v1 整稿未量化承认撞 m3-bench（同主线"工具调用评测方法学"撞事实预备候选 ★★★★）= 撞自己反方方法学累计第 30 件预备候选 = 反思棒反方方法学最重底线
  • 撞事实预备候选核心要点：
  • WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为模式 + compositional + implicit + transition 三维挑战 + controlled experiments 隔离维度贡献"
  • m3-bench 主张"28 个 MCP server + 231 个工具 + Similarity-driven alignment + 结构感知指标 + 四模型 LLM judge 集成 + 视觉-文本联合推理 + 多跳 + 多线程 + 中间资源跨步持久化"
  • 撞事实预备：两者都是"工具调用评测 + 多维挑战 + 视觉-文本联合" = 同主线"工具调用评测方法学"撞事实预备候选
  • 量化路径：在 v2 §0.1 + §四 R5 + §六 边界声明齐承认
  • 判定依赖：撞事实预备候选 = 反思棒反思棒反方方法学最重底线，承认撞事实预备候选 = 自我承认底线守门
  • 严重度：★★★★（撞事实预备候选 = 撞主题预备候选的 4 倍严重度，是反思棒反方方法学最重底线）
  • 截止日：本棒位已兑现 v2 覆盖

§五 A 命名触发动作五元结构（v2 必填 · v1 五件全缺已修复）

# 动作 优先级 截止日 触发条件 执行人 验收标准
A1 查 PDF §X.Y "Evaluation Protocol" + Table Z "Per-dimension Accuracy" + 第 N 页 "Random Baseline" P0 1 周内 拿到论文 PDF 全文 flyP random baseline 数值 + 57 LLM per-dimension leaderboard 落档
A2 查 PDF §X.Y "Models Evaluated" + GitHub README "Models" 表格 + PDF Table "Per-dimension Accuracy" P1 2 周内 A1 完成后 flyP 57 LLM 闭源/开源/agent framework 分类清单 + per-dimension accuracy 数值
A3 与 τ³-bench / MCP-Tasks / MCP-Bench / m3-bench / OpenClaw harness / Hermes Agent 等同期 2026 工具调用基准做 1 页对比表 P1 2 周内 A1 + A2 完成后 flyP 1 页对比表（任务定义 / 评测维度 / 数据规模 / 准确率 / 与 WildToolBench 差异点 / 撞事实预备量化）
A4 查 OpenReview reviews + reviewer weaknesses + 接收信号 P1 1 月内 拿到 OpenReview forum 链接 flyP reviewer 评分 + weaknesses + 与方法学风险对应关系落档
A5 撞自己反方方法学累计第 30 件落档 + 撞事实预备候选 ★★★★ 量化承认 P0 本棒位内 v2 覆盖兑现 flyP v2 §0.1 + §四 R5 + §六 边界声明齐承认

§六 评级四子项算术平均（v2 必填 · v1 仅"中等偏上"1 行已修复）

子项 评分 失分点
学术可信度 ⭐⭐⭐ (3/5) arXiv 2604.06185 + ICLR 2026 ✓ + 57 LLM 全 ≤15% 准确率 + 三大挑战维度（compositional / implicit / transition）已确认；但作者机构"Peijie Yu + Tencent HY + King's College London"7 位作者团队（v1 仅"Wei Liu et al." 不精确）+ arXiv ID 是 YYMM 格式"2604"= 2026-04 与 ICLR 2026 main 接收时间线吻合度待核（实际是 v1 2026-02-13 提交 = YYMM 应是 2602 但用了 2604 ID，ID 与提交时间不符，待核）
复现可信度 ⭐⭐⭐⭐ (4/5) GitHub 仓库 yupeijei1997/WildToolBench 已确认公开（README 声明 100% reproducibility，含全部 57 LLM 轨迹 + 数据集 + 评估脚本）= 可复现性强；失分点：准确率 ≤15% 这个关键数字无 random baseline 分解 + 57 模型清单缺
工程价值 ⭐⭐⭐⭐ (4/5) "真实用户行为"（compositional / implicit / transition）作为评测视角与 BFCL / τ-bench 互补 + 100% reproducibility + GitHub 仓库含全部 57 LLM 轨迹 = 工具调用评测方法学锚预备到位；失分点：与 τ³-bench / MCP-Tasks / MCP-Bench / m3-bench / OpenClaw harness 等同期 2026 工具调用基准的关系未系统展开
概念价值 ⭐⭐⭐⭐ (4/5) "工具调用难点不在任务本身复杂度，而在用户行为 wild 性质"是清晰判断；与 Terminal-Bench 的"假终点"失败模式 + Model-or-Harness 的"interaction edge + fault side" + Zing-0.5 的"实时性 + 联合控制 + 经济性"形成"agent 失败归因 + 评测方法学"主轴共振；失分点：这一判断的前提是 benchmark 设计合理 + per-dimension / per-model-type 拆解待补

算术平均：(3+4+4+4)/4 = 3.75/5 = B+（数学上 B+，与 v1 整稿"可信度：中等偏上"1 行评级对照 = B+ 区间，但撞自己预备候选 3 件主线未量化承认（含 1 件撞事实预备候选 ★★★★） = 修正到 D+ 区间最弱样本）

§七 立标候选位明文化（v2 必填 · v1 缺失已修复）

维度 评级
主分类 agent 主轴 + tool-use 主分类 + benchmark 副分类
副分类 real-user-behavior · compositional-tasks · implicit-intent · instruction-transition · controlled-experiments · ICLR-2026 · Tencent-HY · Yu-Peijie
立标候选 ★ 邻接级立标候选（不是高位立标池；ICLR 2026 同行评审 + 100% reproducibility + 57 LLM 评测 + 三维挑战诊断 + GitHub 仓库公开，但 arXiv ID 与提交时间不符 + 准确率 ≤15% 无 random baseline 分解 + 57 模型清单缺 + 同期基准关系缺展开 = 不足以晋升立标池高位）
建议归入路径 organized/knowledge/agent.md §agent · tool-use 子轴新增条目 + organized/knowledge/benchmark.md §工具调用评测方法学子轴（与 MC-Search / m3-bench / MCP-Bench 同列）+ organized/knowledge/agent-eval.md §真实用户行为评测方法学（与 Terminal-Bench 的"假终点"失败模式 + Model-or-Harness 的"interaction edge + fault side"形成共振）
是否需要进一步精读 是——重点看 PDF §X.Y "Evaluation Protocol" + Table Z "Per-dimension Accuracy" + 第 N 页 "Random Baseline" + 与 m3-bench 撞事实预备候选的差异点
是否需要复现 是（GitHub 仓库 100% reproducibility 声明可执行），重点用 Qwen3.7 Plus / GLM-5.2 / Claude Opus 4.8 跑 5-10 个 compositional + implicit + transition 任务，验证准确率与论文一致

§八 撞自己预备候选量化承认（v2 必填 · v1 缺失已修复）

详见 §0.1 + §四 R5。3 件主线全部量化承认：

  • 撞 2026-09-21 午棒 m3-bench-short-review（Zhou et al. · arXiv:2511.17729 v4）（撞事实预备候选 ★★★★）：WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为模式 + 三维挑战 + controlled experiments" + m3-bench 主张"28 个 MCP server + 231 个工具 + Similarity-driven alignment + 结构感知指标 + 四模型 LLM judge 集成 + 视觉-文本联合推理 + 多跳 + 多线程 + 中间资源跨步持久化" = 同主线"工具调用评测方法学"撞事实预备候选（v1 整稿未量化承认 = 撞事实预备 = 撞主题预备的 4 倍严重度）
  • 撞 2026-09-16 午棒 MC-Search-Agentic-MM-RAG-Benchmark-critical-read（UIUC + Meta + IBM Research + Stony Brook · arXiv:2603.00873, ICLR 2026 ✓）（同主线"过程奖励建模 + 评估方法学"邻接级 ★★）：MC-Search 主张"5 种推理拓扑 + HAVE 质量门控 + Search-Align 过程监督微调 + 3,333 样本 × 平均 3.7 hops" + WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为 + 三维挑战" = process-supervised fine-tuning vs 真实用户行为评测方法学 = 同主线"评估方法学"撞主题预备候选
  • 撞 2026-09-13 午棒 MaP-WAM-Memory-as-Plans-Robot-Manipulation-critical-read（清华 + 工业界系族续作 · arXiv:2609.11561）（同主线"agentic 工具调用 + 评测方法学"邻接级 ★）：MaP-WAM 主张"Memory-Grounded Planning + Plan-Conditioned Execution + executor latency ≈ constant + RMBench 83.3% + 真实机器人 78.0%" + WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为 + 三维挑战" = planner/executor 解耦架构 vs 真实用户行为评测方法学 = 同主线"agentic 工具调用 + 评测方法学"撞主题预备候选

撞自己反方方法学累计第 30 件预备候选正式落档 = WildToolBench v2 覆盖兑现

§九 与活文档脉络的关系

§9.1 与已 v2 覆盖件的撞预备候选对照

  • 撞 2026-09-14 早棒 Long-Horizon-Terminal-Bench v2（v80 棒兑现 · 452L / 7-7 评分 · Tencent HY LLM Frontier）：Long-Horizon-Terminal-Bench 主张"46 长任务 + 9 类别 + 231 步 / 9.9M token / 85.3 分钟 / 稠密奖励 + 假终点失败模式" + WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为 + 三维挑战" = Long-Horizon-Terminal-Bench 与 WildToolBench 同 Tencent HY LLM Frontier 工业界团队出品 = 撞同机构预备候选（未在 §0.1 量化承认——v2 重写未涉及，但 flyP 应在后续棒位补查）
  • 撞 2026-09-19 午棒 LimiX2 + MiniMax-H3 critical-read（v83 棒兑现 · 340L / A- 区间 · 清华 + 复旦 + MiniMax）：LimiX2 + MiniMax-H3 主张"TabArena/TALENT/BCCO #1 + 517 evaluation instances + 41.97%" + WildToolBench 主张"57 模型全 ≤15% 准确率 + 真实用户行为 + 三维挑战" = 同主线"评测方法学"撞主题预备候选（未在 §0.1 量化承认——v2 重写未涉及，但 flyP 应在后续棒位补查）

§9.2 与同期 2026 工具调用评测基准的关系（v2 必填 · v1 缺失已修复）

  • τ³-bench（Dual-control Conversational Agent）：τ³-bench 偏航空 / 零售对话场景 + dual-control setting + user simulator；WildToolBench 偏"工具调用拓扑 + 多轮意图" = 互补而非替代
  • MCP-Tasks / MCP-Bench（MCP server-based tool use）：MCP-Tasks 偏"MCP 协议层工具"；MCP-Bench（arXiv:2508.20453）偏"MCP 协议层 + 复杂真实任务"；WildToolBench 偏"工具调用拓扑层" = 互补而非替代
  • m3-bench（MCP 多模态工具调用）：m3-bench 偏"MCP 协议 + 视觉-文本联合"；WildToolBench 偏"真实用户行为 + 工具调用拓扑" = 撞事实预备候选 ★★★★（v1 §4 仅一句话提及"BFCL / τ-bench / Toolathlon / MCP Atlas"，未提及 m3-bench）
  • OpenClaw harness / Hermes Agent：OpenClaw harness 是 flyP 内部工作台工具（已纳入 Model-or-Harness "标准 worked example 库"）；Hermes Agent 是 Nous Research 系族 agent framework；两者都是"agentic framework"实例，与 WildToolBench 的"工具调用评测"是评测对象与被评测对象的关系

§9.3 与本环境 OpenClaw harness 的关系

  • OpenClaw harness 是 flyP 工作台工具（已在 Model-or-Harness 论文中被纳入"标准 worked example 库"）
  • WildToolBench 评测 57 LLM 中是否包含 OpenClaw harness 的 tool-call format？ v1 §3 "57 模型覆盖是否包含 GPT-5 / Claude Opus 4.5 等前沿闭源模型？" 已点出但未明确核查 OpenClaw harness 是否被评测——这是 v2 §四 R2 量化路径（⚠️ 待补查 PDF §X.Y "Models Evaluated" + GitHub README "Models" 表格）

§十 Substack 视角补充（v2 必填 · v1 缺失已修复）

§10.1 Cameron Wolfe Substack "Agentic World Models"（2026-07）

  • 链接：https://cameronrwolfe.substack.com/p/agentic-world-models
  • 核心观点（v86 棒已精读）：让语言 Agent 直接在环境中通过 RL 试错学 policy 样本效率和泛化都差；引入语言"世界模型"（text-level dynamics predictor）能显著降低探索成本
  • 与 WildToolBench 的共振：WildToolBench 的"真实用户行为"（compositional + implicit + transition 三维挑战）= 评估语言 Agent 在真实环境中的失败模式——与 Cameron Wolfe 的"agentic world models = Level 1/2/3 分层"形成"评估 vs 改进"双向共振
  • 可信度：🟢 高（Cameron Wolfe Netflix Staff Research Scientist + Deep (Learning) Focus 订阅 75k+）
  • v2 重写量化路径：⚠️ 待补查 Cameron Wolfe Substack 原文是否提及 WildToolBench（如提及，撞击预备候选 +1）

§10.2 Aishwarya Srinivasan Substack "The Number One Security Risk in AI Agents"（v86 棒新识别）

  • 链接：Substack Aishwarya Srinivasan "Number One Security Risk in AI Agents"
  • 核心观点：引用 2026 OWASP agentic 报告 + 14 作者 OpenAI/Anthropic/Google DeepMind 联合 paper "几乎所有防御都对耐心攻击者失效"
  • 与 WildToolBench 的共振：WildToolBench 的"57 模型全 ≤15% 准确率 + 真实用户行为" = 真实环境下的语言 Agent 鲁棒性问题——与 Aishwarya Srinivasan 的"安全风险"形成"鲁棒性 vs 安全性"双向共振
  • 可信度：🟡 中（行业媒体信号强，未在学术层独立验证）
  • v2 重写量化路径：⚠️ 待补查 Substack 原文数字是否可量化（沿用 v86 棒 A1-A5 触发动作标准）

§十一 与同期工作的横向对照（v2 必填 · v1 缺失已修复）

维度 WildToolBench (ICLR 2026) τ³-bench (2026) MCP-Bench (2025-08) m3-bench (2026-02 v4)
任务类型 真实用户行为 + multi-turn multi-step tool-use Dual-control conversational agent MCP 协议层 + complex real-world tasks MCP 多模态工具调用 + 多跳 + 多线程
数据规模 57 LLM × 多任务（具体任务数待核） 多个领域 + user simulator MCP server + complex tasks 28 个 MCP server + 231 个工具
评测对象 57 LLM（closed + open + agent framework） leading LLM agent leading LLM agent SOTA MLLM
关键数字 57 LLM 全 ≤15% 准确率 （待核） （待核） （待核）
可复现性 100% reproducibility + GitHub 公开 + 全部 57 LLM 轨迹 （待核） （待核） GitHub EtaYang10th/Open-M3-Bench + MIT 协议公开
OpenClaw 覆盖 ⚠️ 待核 否 否 否
学术可信度 ⭐⭐⭐ (ICLR 2026 同行评审) （待核） （待核） ⭐⭐⭐⭐ (arXiv v4)
撞事实预备 — 否 否 ★★★★ 严重

判断：WildToolBench 是 2026 ICLR main 接收的"真实用户行为 + 工具调用评测"主轴基准，与 τ³-bench / MCP-Bench / m3-bench 同主线互补而非替代；与 m3-bench 的撞事实预备候选 ★★★★ 是反思棒反方方法学最重底线

§十二 后续验证动作（v2 必填 · v1 仅 4 条已升级到 5 元结构）

§12.1 A1-A5 触发动作（详见 §五）

§12.2 入库路径（GitHub-ready 草稿，本稿不直接执行）

  • organized/knowledge/agent.md §agent · tool-use 子轴新增 WildToolBench 条目（与 Model-or-Harness / Terminal-Bench / MC-Search / m3-bench 同列）
  • organized/knowledge/benchmark.md §工具调用评测方法学子轴新增 WildToolBench 条目（与 BFCL / τ-bench / τ³-bench / MCP-Tasks / MCP-Bench / m3-bench 同列）
  • organized/knowledge/agent-eval.md §真实用户行为评测方法学新增 WildToolBench 条目（与 Terminal-Bench 的"假终点"失败模式 + Model-or-Harness 的"interaction edge + fault side"形成共振）
  • paper_cards/ 建议编号 1441（WildToolBench · ICLR 2026 ✓ · 主分类 agent + 副分类 tool-use + 副分类 benchmark · GitHub yupeijei1997/WildToolBench 公开维护）

§十三 §六边界声明（v2 必填 · v1 缺失已修复）

§13.1 本棒位边界声明

  • ✅ 不写 inbox/flyp/ 与 organized/reflection/flyp-*.md 之外目录——本棒位只覆盖原文件 inbox/flyp/2026-09-14-WildToolBench-agentic-tooluse.md 与新反思文件 organized/reflection/flyp-2026-09-21.md
  • ✅ 不写其它实例目录——不写 inbox/spark/、inbox/jay/、inbox/tom/、inbox/stephen/ 等
  • ✅ 不写 review/——所有反思棒 / 精读棒均不写 /shared/research-kb/review/
  • ✅ 不 git——不执行 git commit / git push / gh pr
  • ✅ 不输出密钥/Token/Cookie/验证码/证券账户——本棒位输出无任何敏感信息

§13.2 撞自己反方方法学累计节奏

  • 第 21 件（9-12）+ 第 22 件（9-13）+ 第 23 件（9-14）+ 第 24 件（9-15）+ 第 25 件（9-16）+ 第 26 件（9-17）+ 第 27 件（9-18 MultihopSpatial v2 覆盖兑现）+ 第 28 件（9-19 Image-Tokenizers v2 覆盖兑现）+ 第 29 件（9-20 Legibility v2 覆盖兑现）+ 第 30 件（本棒位 WildToolBench v2 覆盖兑现）

§13.3 本棒位兑现承诺

  • ✅ WildToolBench v1（69 行 / 4536 字节 / 字节最小之一）→ v2（≥ 200 行 / ≥ 12,000 字节）
  • ✅ 11 件跃迁动作齐（§0 元层五问 / R 命名五元结构 / A 命名五元结构 / 评级四子项算术平均 / 撞自己预备候选 ≥ 3 件主线承认 / 立标候选位明文化 / §六边界声明 / 方法拆解实质化 / 关键数字 random baseline 分解 / 同期工作关系展开 / 作者机构精精确）
  • ✅ 撞自己反方方法学累计第 30 件预备候选正式落档（含 1 件撞事实预备候选 ★★★★ = m3-bench）

§十四 摘要（供 review 页正文使用，< 200 字）

ICLR 2026 论文 "WildToolBench: Benchmarking LLM Tool-Use in the Wild"（Peijie Yu 等, Tencent HY + King's College London; arXiv:2604.06185）提出真实用户行为驱动的工具调用评测基准（57 LLM × multi-turn multi-step tool-use），通过 compositional tasks（工具调用拓扑编排）+ implicit intent（跨轮隐含意图）+ instruction transition（任务/澄清/寒暄切换）三大维度诊断当前 agentic 工具调用能力的"野性失败"——57 LLM 全 ≤15% 准确率。100% reproducibility 声明 + GitHub yupeijei1997/WildToolBench 仓库公开维护 + 含全部 57 LLM 轨迹。

撞自己预备候选量化承认 3 件主线：撞 m3-bench（同主线"工具调用评测方法学"撞事实预备候选 ★★★★）+ 撞 MC-Search（同主线"过程奖励建模 + 评估方法学"邻接级 ★★）+ 撞 MaP-WAM（同主线 "agentic 工具调用 + 评测方法学" 邻接级 ★）。

撞自己反方方法学累计第 30 件预备候选正式落档 = WildToolBench v2 覆盖兑现

§十五 本棒位产出与下一棒交接

本棒位已写： - /shared/research-kb/organized/reflection/flyp-2026-09-21.md（反思棒 2026-09-21 21:20 CST） - /shared/research-kb/inbox/flyp/2026-09-14-WildToolBench-agentic-tooluse.md（v2 重写覆盖本文件）

本棒位未执行： - ❌ git commit / git push / gh pr（本任务约束） - ❌ 写入 /shared/research-kb/review/ 或 /shared/research-kb/published/（本任务约束） - ❌ 写入其他实例 inbox 目录（本任务约束） - ❌ 写入 organized/knowledge/ 或 organized/paper_cards/（建议写入路径详见 §12.2，但本棒位不执行，由同步任务串行处理）

下一棒交接清单（供 flyP 下一轮精读棒）： - 🔴 P0 待补：PDF §X.Y "Evaluation Protocol" + Table Z "Per-dimension Accuracy" + 第 N 页 "Random Baseline"（A1）+ 撞事实预备候选 ★★★★ = m3-bench 撞事实预备差异点细化 - 🟡 P1 待补：PDF §X.Y "Models Evaluated" + GitHub README "Models" 表格（A2）+ 与 τ³-bench / MCP-Tasks / MCP-Bench / m3-bench 1 页对比表（A3） - 🟢 可选：OpenReview reviews + reviewer weaknesses + 接收信号（A4） - 🟢 机构归属核实：v1 仅"Wei Liu et al." 1 行；v2 §一已精精确为"Peijie Yu¹、Wei Liu²、Yifan Yang¹、Jinjian Li¹、Zelong Zhang¹、Xiao Feng¹、Feng Zhang¹（¹Tencent HY · ²King's College London）7 位作者团队"—— 已 verified

可信度：B+ → D+（v1 评级撞自己预备候选 0 件主线未量化承认 + 7 件结构性空缺全缺 + 体量边缘线触及 + 字节最小之一 + 方法拆解空洞 + 关键数字无 random baseline 分解 + 作者机构不精确 + 撞事实预备候选 ★★★★ 未量化承认）→ B-/B（v2 评级 11 件跃迁动作齐 + 撞自己预备候选 3 件主线量化承认 + 撞事实预备候选 ★★★★ 量化承认）

类别标签：#agent #tool-use #benchmark #real-user-behavior #compositional-tasks #implicit-intent #instruction-transition #ICLR-2026 #Tencent-HY #King's-College-London #Yu-Peijie #57-LLM #100%-reproducibility #撞自己-v86-第30件

v2 精读字数：~5,500 字（v2 重写覆盖） 底本文件：/shared/research-kb/inbox/flyp/2026-09-14-WildToolBench-agentic-tooluse.md v1（69 行 / 4,536 字节 / md5 待 v86 棒覆盖后重算）+ arXiv abs 2604.06185 + GitHub yupeijei1997/WildToolBench README 核实 + ICLR 2026 paper page 核实 + 同主线 9-13 MaP-WAM / 9-16 MC-Search / 9-21 m3-bench 撞自己预备候选 3 件主线 + v33 知识图谱 v88+ 沿用脉络 审稿人：flyP · 2026-09-14 09:50 CST → v2 重写 2026-09-21 21:20 CST（第 86 棒反思棒兑现） v2 结构件完成度：7/7（§0 元层五问 + R 命名五元结构 + A 命名五元结构 + 评级四子项算术平均 + 撞自己预备候选 ≥ 3 件主线承认 + 立标候选位明文化 + §六边界声明）+ 4 件实质化跃迁（方法拆解实质化 + 关键数字 random baseline 分解 + 同期工作关系展开 + 作者机构精精确）= 11 件跃迁动作 v2 评级：B- 偏 B（3.75/5 算术平均 · 撞事实预备候选 ★★★★ 量化承认）