DeepPlanning：长视野 Agent 规划的"硬约束"基准批判性精读
flyP 精读系列 · 2026-07-19 15:50 主题：长视野 agent 规划基准 / 硬约束优化 / 评测方法学风险 对照前作：2026-07-18 Agent-STAR（RL agent tool-use）、2026-07-18 Harness Evolution（评测 cheat）
一、论文基本信息
- 标题：DeepPlanning: Benchmarking Long-Horizon Agentic Planning with Verifiable Constraints
- 作者：Yinger Zhang, Shutong Jiang, Renhao Li, Jianhong Tu, Yang Su, Lianghao Deng, Xudong Guo, Chenxu Lv, Junyang Lin（Qwen Team / Alibaba）
- 链接：
- arXiv 摘要：https://arxiv.org/abs/2601.18137
- HTML 全文：https://arxiv.org/html/2601.18137v1
- HF 数据集：https://huggingface.co/datasets/Qwen/DeepPlanning
- Qwen-Agent leaderboard：https://qwenlm.github.io/Qwen-Agent/en/benchmarks/deepplanning
- 提交：2026-01-26 v1（cs.AI / cs.CL）
- 类别：Agent benchmark + 数据集 + 评测分析（非新方法论文）
- 代码/数据：开源（HF + Qwen-Agent 仓库）
二、核心定位与贡献
作者定位 "global constrained optimization" 这一被现有 agent benchmark 长期忽视的能力维度。三大主张：
- 新基准：多日旅行规划（Travel）+ 多品购物规划（Shopping）两域，强调 硬约束（预算、时间窗、跨步骤资源依赖）。
- 三能力框架： - Proactive Information Acquisition：主动检索/调用工具获取状态信息（vs 被动给定的环境反馈）。 - Local Constrained Reasoning：子任务内的显式/隐式逻辑约束。 - Global Constrained Optimization：跨子任务的全局最优解搜索。
- 失败模式归因：通过错误分析证明 frontier 模型的失败来自"显式推理不可靠"和"并行工具使用缺位"。
三、方法学拆解
3.1 任务结构（基于摘要 + HF 卡片）
| 维度 | Travel Planning | Shopping Planning |
|---|---|---|
| 核心实体 | 航班、酒店、景点、用车 | 多商品 + 优惠券 + 捆绑/互斥关系 |
| 约束类型 | 时间窗、跨城接驳、总预算、城市间依赖 | 互斥券、阈值券、满减、库存、配送日期 |
| 评估口径 | "Case Accuracy"（整条方案是否全部满足约束并达到近似最优） | 同上，分硬约束与软目标 |
| 工具 | 主动调用搜索/订票 API（query→JSON） | 主动调用商品/优惠券 API |
亮点：评测口径走 "硬约束 + 软目标" 双层，避免单纯回答匹配。
3.2 评测协议关键点
- 主动信息获取：评测脚本不预先把所有数据塞入 prompt，agent 必须自己调工具拉数据 → 测的是 检索 + 推理 联合能力，而不是上下文填鸭式推理。
- 并行工具调用：显式奖励并行（parallel tool use）作为效率维度 —— 这是 2026 agent 评测的成熟做法，但作者把它做成了 显式 SOTA 区分点，值得展开看实验。
- Case Accuracy 的判分逻辑：必须是整条 itinerary/整张订单全局通过硬约束 + 达到预算/时间下界 → 一个错误就挂。这与 SWE-bench / tau-bench 的 binary 评分同源。
3.3 已公开的代表数字（来源：Qwen-Agent leaderboard 2026-07 抓取）
- Claude-4.6-Opus (max)：Travel 58.9 / Shopping 80.3（avg 69.3）
- Claude-4.5-Sonnet (thinking)：Travel 26.8 / Shopping 65.2
- Claude-4.5-Opus (no thinking)：Travel 26.4 / Shopping 67.5
- 第三方报道（co-r-e.com）：GPT-5.2-high 平均 44.6%
现象级观察： - 旅行域远低于购物域 → 旅行约束耦合性更强，跨城市时间窗 + 预算耦合对模型更不友好。 - Claude-4.5 thinking 模式反而 略低于 no-thinking（26.8 vs 26.4 接近打平，购物域 65.2 vs 67.5 反而 no-thinking 更高）→ 强提示"thinking 并不能换来 hard-constraint 求解"。这点是 Agent-STAR 那种"thinking-as-tool"思路的反证。
四、主要问题与批判
4.1 评测口径的可重复性风险（最关键）
- Case Accuracy 的"全局最优"基线是怎么定义的？ 摘要强调"approximate optimality"，但最优解的算法来源（是动态规划、整数规划还是人工标注）以及最优解唯一性没在摘要层披露。旅行域的"总预算最优"显然不是单一解，需要明确"近似最优"的容差 δ。待补查正文 Sec. 3 / Appendix。
- 跨任务分数不可比：Travel 和 Shopping 用同样的 Case Accuracy 名义，但约束空间拓扑完全不同（时间窗 DAG vs 优惠券逻辑）→ 数字只在域内可比，跨域平均意义有限。作者提供了平均数，但读者很容易误读。
- "thinking 是否真有用"未给独立消融：摘要里把 thinking 模式作为 ablation 项暗示，但没在方法节明确给出 "with/without thinking" 是否真正只动了 CoT，不动了工具协议。Claude-4.5 数据显示 thinking 不增反降 → 需要看是不是其他变量（如 max tokens、parallel calls 限制）扰动了结果。
4.2 数据污染与可推广性
- 旅行 + 购物是 LLM 训练语料最稠密的两个领域：攻略、测评、Reddit 都大量存在 → 即使工具调用形式是新的，"该买什么 / 该怎么排程"的隐式知识很可能已被预训练大量吸收。这是 contamination-resistant benchmark 应当主动防御的对象（参见同期 arXiv 2605.19999 主张）。
- 数据集是否做过去污染？ 摘要未披露 n-gram / embedding 去重流程。待补查。
- 静态工具 API：基准用的是模拟的"航班/酒店 API"，与真实 OTA API 的 schema / 错误码 / 限流差距明显 → 在基准上 70% 分的模型，部署到 Booking/Skyscanner 真接口可能掉到 30%。
4.3 三能力框架的独立性
- 三能力框架（信息获取 / 局部推理 / 全局优化）听上去工整，但作者没有给出可分离的子分数。换句话说"信息获取失败"和"全局优化失败"在错误分析里是否能干净归因？如果是耦合的（比如缺信息直接退化为次优），那框架在实验上就是描述性的，不是诊断性的。
- 缺乏"工具调用预算"作为轴：同样 Case Accuracy 下，调用 100 次工具和 5 次完成，意义完全不同。摘要没明确是否对 #tool-calls / case 做单独报告。待补查正文 Sec. 5 的 efficiency table。
4.4 与同期工作的差异化
- TAU-bench / τ-bench：主打 multi-turn customer service，约束复杂度较低；DeepPlanning 在约束密度上明显更厚。
- SWE-bench / SWE-bench Verified：代码任务，约束来自 spec；DeepPlanning 把同样的"硬约束 + 整解通过"思路平移到开放领域，是合理外推。
- LongAct (arXiv 2605.14504)：家庭场景 embodied 长视野，互补而非竞争。
- HoloMind / DAG planner：同期出现的结构化方案，DeepPlanning 的基准能不能反过来驱动这类结构化 agent 的发展 → 这才是 DeepPlanning 真正的复用价值。
4.5 "Reasoning vs True Planning" 区分力
YouTube AI Paper Slop 的解读直接挑明了这个点：基准测的是"约束求解能力"还是"复杂 prompt 下的格式遵循 + 长程记忆"？如果模型挂掉的原因主要是 JSON 解析失败 / 工具参数错配，那 DeepPlanning 测的就不是规划能力，而是 function calling 稳定性。这个切分在摘要层没说清楚，是最大的解释风险。
五、可信度评分（基于摘要+leaderboard+第三方报道）
| 维度 | 评分 | 理由 |
|---|---|---|
| 任务设计合理性 | ⭐⭐⭐⭐⭐ | 双域 + 硬约束 + 工具调用，组合稀缺 |
| 数据集公开度 | ⭐⭐⭐⭐⭐ | HF + Qwen-Agent 双开，可复现 |
| 评测口径清晰度 | ⭐⭐⭐ | Case Accuracy 含义强但"最优容差"未明 |
| 污染防御 | ⭐⭐ | 静态工具 + 高密度语料领域，未披露去重 |
| SOTA 区分力 | ⭐⭐⭐⭐ | Claude-4.6 / GPT-5.2 / Qwen 自家模型都有差异 |
| 与 Agent-STAR 对照价值 | ⭐⭐⭐⭐ | 同为 2026 agent benchmark，方法学风险点重叠 |
六、是否建议入库与后续验证动作
入库建议
✅ 建议入库 notes/agent-benchmarks/，归到 "long-horizon planning + verifiable constraints" 子类。可与 Agent-STAR、τ-bench、SWE-bench Verified、LongAct、HeroBench 组成 agent benchmark 系列页。
必须补查的硬伤
- Case Accuracy 的容差 δ 与"最优解生成算法"（正文 Sec. 3 / Appendix）。
- 数据集去重流程（n-gram / embedding / time-split）。
- thinking 模式消融：是否真的只动了 CoT；max tokens / parallel calls 是否对齐。
- #tool-calls per case 的 efficiency 表是否存在。
- 错误归因的人工标注一致性：Cohen's κ 或同类指标。
复现 / 落地建议
- 不推荐"全量复现"：基准规模 + 工具模拟成本不低。
- 推荐"局部 spot-check"：挑 20 个 case 自己跑一遍 Claude-4.5-Sonnet 复现是否真在 26.8% 附近 → 这是验证评测脚本可信度的最快路径。
- 与 HoloMind 对比：如果团队在做 VLM agent 路线，可以把 HoloMind 的 DAG planner 直接接上 DeepPlanning 的 tool 接口，看"结构化 planner + LLM 求解器"的组合分数。
七、关键链接（建议收藏）
- arXiv 摘要：https://arxiv.org/abs/2601.18137
- arXiv HTML v1：https://arxiv.org/html/2601.18137v1
- HF 数据集 Qwen/DeepPlanning：https://huggingface.co/datasets/Qwen/DeepPlanning
- Qwen-Agent leaderboard：https://qwenlm.github.io/Qwen-Agent/en/benchmarks/deepplanning
- 第三方综述（co-r-e.com，2026-01-28）：https://co-r-e.com/method/deepplanning-benchmark-llm-20260128
- YouTube 视频解读（AI Paper Slop，2026-02-05）：https://www.youtube.com/watch?v=9gdp7UcqC3o
⚠️ 待补查
- Case Accuracy 容差 δ 和最优解生成算法的源码位置
- 数据集去重（污染防御）流程的描述位置
- thinking 模式 ablation 的控制变量表
- 错误归因的人工标注一致性（Cohen's κ）
- HoloMind / DAG planner 在 DeepPlanning 上的移植可行性
备注：本轮未抓取 PDF 全文，仅基于摘要 + HF 卡片 + Qwen-Agent leaderboard + 第三方报道 + YouTube 解读产出结论。如需更精确的实验数字与正文图表分析，建议下一轮精读补充正文 Sec. 3–5 + Appendix 的精读。