Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs

• 类型：arxiv
• 标识：2608.20492
• 链接：https://arxiv.org/abs/2608.20492
• 主分类：multimodal
• 形态：method
• 被引：1
• 被引来源：Semantic Scholar
• S2被引：1
• OpenAlex被引：0
• 影响力被引：0
• TLDR：The sample efficiency and scalability of RL post-training for video MLLMs and introduces OraRL, a decoupled advantage estimator that scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts.
• OpenAlex ID：W7204134008
• OpenAlex DOI：10.48550/arxiv.2608.20492
• DOI：10.48550/arxiv.2608.20492
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://arxiv.org/pdf/2608.20492
• OpenAlex更新：2026-08-31
• 副分类：engineering
• 待LLM分类：否
• 标题中文：以标注作为 Rollout：面向视频 MLLMs 的高效可扩展强化学习
• TLDR中文：本文研究视频 MLLM 的 RL 后训练样本效率与可扩展性，并提出 OraRL——一种随模型规模与数据规模共同 scaling 的解耦 advantage estimator，在 0.8B 到 9B backbone 上均超越其基线，并在 100k prompts 规模下超越 GRPO。
• 来源文件：
• /inbox/tom/_candidates/2026-08-26-agent-rag-longcontext-candidates.json
• [S2 enrich]
• [OpenAlex backfill]