2609.20715 · 小红书推广卡片文案

三个标题变体

1. 改一行代码 +4.2 pp？Agent 工程师最近都在偷偷加这个开关 🤫
2. 「别遮蔽 observation」——arXiv 新论文改写 Agent 后训练范式
3. Agent 训练「SFT → RL」管线的隐藏开关：observation loss 不该关

小红书卡片文案（约 220 字）

做 Agent 后训练的姐妹听我说 🫶

你有没有遇到过——SFT 后看着挺美，RL 一上就崩？熵塌缩飞快、策略瞬间窄化、observation 预测能力跌穿 base model？

arXiv 2609.20715（Don't Mask the Environment）告诉你——

❌ 错诊：数据不够 / reward 没调好 ✅ 真因：SFT 阶段 observation token 被遮蔽，action / observation 梯度相互残害

修法：把 observation 也加进 loss（改一行 loss mask 就够）

4B Qwen3 拿 +4.2 pp pass@1；8B 拿 +3.4 pp pass@16。零数据 / 零参数 / 零前向传播 ✨

AI #Agent #LLM #后训练 #论文解读 #GRPO

关联论文：2609.20715（点格式）
科普版：/shared/research-kb/organized/promo/popular/2609-20715.md