Weak-to-Strong Generalization via Direct On-Policy Distillation

• 类型：arxiv
• 标识：2607.05394
• 链接：https://arxiv.org/abs/2607.05394
• 主分类：engineering
• 形态：method
• 被引：5
• 被引来源：Semantic Scholar
• S2被引：5
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Direct On-Policy Distillation (Direct-OPD) is proposed, which transfers the teacher's RL-induced policy shift instead of running sparse-reward RL on the target model and consistently leverages weaker teachers to improve stronger target models.
• OpenAlex ID：W7167585196
• OpenAlex DOI：10.48550/arxiv.2607.05394
• DOI：10.48550/arxiv.2607.05394
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2607.05394
• OpenAlex更新：2026-07-19
• 待LLM分类：否
• 标题中文：通过直接在线策略蒸馏实现弱到强泛化
• TLDR中文：提出 Direct On-Policy Distillation（Direct-OPD），该方法迁移教师模型由 RL 引起的策略偏移，而非在目标模型上运行稀疏奖励 RL，并一致地利用更弱的教师模型来提升更强的目标模型
• 来源文件：
• /inbox/tom/_candidates/2026-07-14-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]