Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening

• 类型：arxiv
• 标识：2609.18708
• 链接：https://arxiv.org/abs/2609.18708
• 主分类：llm-infra
• 形态：method
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Value Flattening is identified as an important yet overlooked failure mode of critic learning in standard PPO and a simple sparse supervision strategy can mitigate it; SParse Proximal Policy Optimization is introduced, which applies the value loss to only a few well-separated states in each response to mitigate both effects.
• OpenAlex ID：W7213494295
• OpenAlex DOI：10.48550/arxiv.2609.18708
• DOI：10.48550/arxiv.2609.18708
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2609.18708
• OpenAlex更新：2026-09-20
• 待LLM分类：否
• 成熟度：research
• 场景：RLHF、PPO、value estimation
• 标题中文：重新思考 PPO 中的 Critic 学习：理解与缓解 Value Flattening
• TLDR中文：本文识别出 Value Flattening 是标准 PPO 中 critic 学习的一种重要但被忽视的失效模式，并提出一种简单稀疏监督策略可以缓解该问题；引入 SParse Proximal Policy Optimization，在每个响应中仅对少数间隔良好的状态施加 value loss，以同时缓解两种效应。
• 来源文件：
• /inbox/tom/_candidates/2026-09-17-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]