越强的 AI 越不肯说"做不到"——这可能是它变笨的第一个信号
- 关联论文：2606.28733
让 AI 查一个冷门型号的商品、跑一个权限不足的命令，它不报错，只是换个说法再试一遍——搜了五轮，最后给你一段语气笃定、但商品根本不存在的答案。工程团队的直觉是"换个更强的模型就好了"。而 arXiv 2606.28733 给出更扎心的结论：模型变强之后，及时说"我做不到"的比率反而下降了。
为什么这件事值得单独立一个课题
过去几年评测 Agent，几乎只奖励一件事：任务完成了没有。成功率成了唯一 KPI，而"做不到时优雅收场"这一整类行为，从没被单独测量过。
论文把它命名为 Agentic Abstention（代理式弃答），并指出它和传统 LLM 弃答有本质区别：传统弃答是单轮二选一，Agent 的弃答则是序列决策——每一轮都可选择"再调一次工具 / 直接回答 / 承认做不到"，而且"该弃答"往往要交互好几轮后才浮现。换句话说：AI 不是不知道题会不会，是在错误的路上走了八步才承认。
核心机制：不改模型，只改提示词
算法叫 CONVOLVE，思路朴素得有点反高潮：成功过的轨迹里天然藏着"什么时候该停"的答案，抽出来写回提示词就行。
先让强模型跑出成功轨迹，给每一步打状态标签（信息不足 / 已确认可达 / 已确认不可达）；再从"正确弃答"的轨迹里抽取触发模式，比如"连续 N 次搜索返回空集""终端反复 Permission denied"；最后把规则连同正反例 few-shot 塞进系统提示词。全程不动模型参数。
关键单点结果：Llama-3.3-70B + WebShop 上，及时弃答率从 26.7 提到 57.4，涨了 30.7 个绝对点，正常答题成功率没被拖垮。评测覆盖 13 个 LLM-Agent 系统、三类任务共 28000+ 任务，指标含及时弃答率、过度弃答率、平均工具调用数，以及最要命的——"没弃答但还是失败了"的幻觉完成率。而 13 个被测 Agent 里，没有一个能同时在"该弃答时及时弃答"和"能答时别瞎弃答"两个维度占优。
证据边界：哪些说法还得自己验
方法层站得住：把弃答形式化成序贯决策、给出可复现 benchmark，这是它最扎实的贡献。
数据层要打折。论文自己标了待核项：CONVOLVE 的 +30.7 点数值、以及"约 41% 的应弃答任务集中在'指令看似可行但环境无匹配项'"这一比例，都标着待原文核验。项目页 lhannnn.github.io/agentic-abstention 未经 web_fetch 验证，存在幻觉风险，落地前请自己 fetch 确认。
覆盖面有天花板。实验集中在 WebShop、终端、QA 三类任务，对真实开放域的迁移性原文未给出 OOD 数字，别把 57.4 当成预期值。
工程局限：论文不会替你解决的坑
把"LLM 说不知道"当成弃答信号，是最常见的误设计——模型说"我认为 X"，不代表它真的判定 X 不可达。真正可靠的是环境层触发（工具真的返回空集、真的 403）。
不同环境共用一套阈值也是错的。WebShop 的"无货"、API 的"401"、文件系统的"Permission denied"语义完全不同，需要各自的停止判断。
弃答后返回空字符串等于把锅甩给用户，正确做法是返回结构化的"不可达原因 + 是否有部分结果"。
过度弃答同样真实。阈值定太低，Agent 动不动就举手；及时弃答率和过度弃答率的 trade-off 必须在真实流量上 A/B 调参。论文还承认规则抽取需 teacher 跑大量轨迹，蒸馏成本不低。
一句话带走
如果你的 Agent"完成率很高但投诉也很多"，缺的大概率不是更强的模型，而是一条能说"我做不到，并且为什么做不到"的通道。这可以不改权重就改善——本质是上下文工程，不是模型能力问题。
标题变体
- AI 越强越嘴硬：论文实测大模型"做不到还硬撑"的反直觉真相
- "搜索了 5 轮还是编了一个"——如何教 Agent 在该停手时停手
- 别再用完成率评价你的 Agent 了：那个指标正在奖励幻觉
- 一纸提示词提升 30 个点：把"拒绝执行"变成 Agent 的正式技能
小红书卡片文案
你的 AI 是不是这样：
搜了 5 轮、换了 8 个关键词，最后给你一段特别自信的答案——但那个商品根本不存在。
大多数人以为"换个更强的模型就好了"。
而这篇论文的实测结论恰恰相反：模型从 8B 涨到 70B，及时说"我做不到"的比率反而下降了。强模型更愿意赌一把。
📌 论文干了件大事：把"AI 什么时候该停手"正式变成一个可测量的指标。
做法也很实在： - 不改模型参数 - 把"搜索连续 N 次无结果""连续报同样错码"这类停止规则写进提示词 - WebShop 上及时弃答率 26.7 → 57.4，涨了 30 个点，正常答题成功率没掉
💡 最扎心的一个数： 13 个被测 Agent，没有一个能同时做到"该弃答时及时弃答"和"能答时别瞎弃答"。
⚠️ 但别太激动： - WebShop/终端/QA 三类任务的结论，真实开放域还没验证 - 论文里的关键数字和代码链接都标了"待核验" - "模型说自己不知道"不能当弃答信号，工具真的报错才算
✅ 落地建议：给 Agent 加一条环境层停止条件（工具连续 N 次返回空 → 明确告知不可达 + 原因），比换模型便宜太多。