Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

• 类型：arxiv
• 标识：2606.26027
• 链接：http://arxiv.org/abs/2606.26027v1
• 主分类：agent
• 形态：method
• 被引：4
• 被引来源：Semantic Scholar
• S2被引：4
• OpenAlex被引：0
• 影响力被引：0
• TLDR：It is found that interleaving supervised fine-tuning with RL substantially improves stability, but exhibits degraded performance under format and content out-of-distribution (OOD) evaluation, and how diverse supervisory signals can guide exploratory learning is demonstrated.
• OpenAlex ID：W7165889731
• OpenAlex DOI：10.48550/arxiv.2606.26027
• DOI：10.48550/arxiv.2606.26027
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2606.26027
• OpenAlex更新：2026-07-19
• 待LLM分类：否
• 标题中文：多步工具调用强化学习为何崩溃及监督信号如何修复
• TLDR中文：研究发现，强化学习（RL）与监督微调（SFT）交错训练可显著提升稳定性，但在格式与内容分布外（OOD）评测下性能下降；并展示了多样化监督信号如何引导探索式学习。
• 来源文件：
• /inbox/tom/_candidates/2026-06-25-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]