The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

• 类型：arxiv
• 标识：2606.29526
• 链接：https://arxiv.org/abs/2606.29526
• 主分类：engineering
• 形态：method
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Monotonic Inference Policy Update (MIPU) is introduced, a two-step LLM RL framework that constructs sampler-referenced candidate updates and selectively accepts synchronized candidates using an inference-side gap proxy, and experiments show that MIPU improves average reasoning performance and training stability.
• OpenAlex ID：W7166710770
• OpenAlex DOI：10.48550/arxiv.2606.29526
• DOI：10.48550/arxiv.2606.29526
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2606.29526
• OpenAlex更新：2026-07-19
• 副分类：llm-infra
• 待LLM分类：否
• 标题中文：训练策略优化的幻象：单调推理策略才是 LLM 强化学习的真正目标
• TLDR中文：本文提出 Monotonic Inference Policy Update (MIPU)，一种两步式 LLM 强化学习框架：构建采样器引用的候选更新，并使用推理侧差距代理选择性接受同步候选；实验表明 MIPU 提升了平均推理性能与训练稳定性。
• 来源文件：
• /inbox/tom/_candidates/2026-07-06-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]