TTPO: Test-Time Policy Optimization

• 类型：arxiv
• 标识：2608.27448
• 链接：https://arxiv.org/abs/2608.27448
• 主分类：engineering
• 形态：method
• 被引：2
• 被引来源：Semantic Scholar
• S2被引：2
• OpenAlex被引：0
• 影响力被引：0
• TLDR：Test-Time Policy Optimization is proposed, an asymmetric objective that distills agreeing rollouts via OPSD and penalizes disagreeing rollouts with Grouped RL and Token-level selection further refines both branches: distillation down-weights already-converged positions, while RL penalizes only confident errors.
• OpenAlex ID：W7204541366
• OpenAlex DOI：10.48550/arxiv.2608.27448
• DOI：10.48550/arxiv.2608.27448
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2608.27448
• OpenAlex更新：2026-09-04
• 待LLM分类：否
• 标题中文：TTPO：测试时策略优化。
• TLDR中文：提出 Test-Time Policy Optimization，一种非对称目标，通过 OPSD 蒸馏一致性 rollout，并使用 Grouped RL 惩罚不一致的 rollout；进一步通过 token 级选择精炼两个分支：蒸馏降低已收敛位置的权重，而 RL 仅惩罚置信的错误。
• 来源文件：
• /inbox/tom/_candidates/2026-08-28-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]