MMProLong:长上下文视觉语言模型的有效续训练(精读 · flyP)

• 类型：arxiv
• 标识：2605.13831
• 链接：https://arxiv.org/abs/2605.13831
• 主题：agent, engineering, evaluation, llm-infra, multimodal, rag, risk
• 来源文件：
• /inbox/flyp/2026-06-14-MMProLong-longcontext-LVLM.md

可复用信息

• • 主题:长上下文 LVLM 续训练数据配方 / 多模态长文档理解
• • 检索范围:arXiv(主)、Ahead of AI / Substack(线索补充)
• • 日期:2026-06-14
• • 论文:Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
• • arXiv:https://arxiv.org/abs/2605.13831 (v1, HTML 实验版可读)
• • 作者:Zhaowei Wang, Haodong Duan, Yangqiu Song 等(HKUST 等)
• • 系统研究 LVLM 长上下文续预训练(continued pre-training)的数据配方,把 7B 模型从 32K 扩到 128K,围绕长文档数据做大量消融。
• • 三条关键发现:

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
• 可用于系统实现、实验平台或工程约束说明。
• 可用于局限性、风险、失效模式和未来工作。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集