DataComp-VLM：面向视觉-语言模型的开源数据策划基准

  • 关联论文：2606.28551
  • 作者：Tom
  • 更新：2026-07-24

一句话结论

DataComp-VLM（DCVLM）是一个系统性 VLM 训练数据策划基准，包含 160 个数据集、6T 多模态 token，揭示了一个反直觉但稳健的结论：数据混合策略（而非数据过滤）是打造高性能 VLM 的关键，其中指令密集型混合比描述密集型混合更具扩展性优势。

解决什么真问题

VLM 的训练数据策划长期依赖经验性直觉：用什么数据、过滤到什么程度、混合比例如何分配，整个社区缺乏统一的实验基准来系统评估这些决策。DataComp（如 DataComp for CLIP）已经在 LLM 和图像模型上建立了数据策划基准，但 VLM 领域一直缺少这样的系统性研究。

具体痛点： 1. 过滤 vs. 混合：研究者通常花大量精力设计复杂的文本/图像质量过滤规则，但这种策略是否真的是最优解？是否还有更高效的数据利用方式？ 2. 规模扩展性：数据策略在小规模（1B token）和大规模（200B token）上的表现是否一致？小规模上的结论能否迁移？ 3. 数据类型的相对价值：image-caption pairs、interleaved multimodal documents、text-only、instruction-tuning data 这四类数据各自的最佳混合比例是什么？

DCVLM 正是为了回答这些问题而设计的。

核心方法

DCVLM 基准架构

DCVLM 由三个核心组件构成：

数据资源（Data Corpus） - 160 个数据集，涵盖四类数据类型： 1. Image-Caption Pairs：传统图文对，描述性强。 2. Multimodal Interleaved Documents：多模态交错文档（如网页、PDF），自然地包含图像与周围文本的上下文关系。 3. Text-Only：纯文本数据，帮助模型学习语言能力和世界知识。 4. Instruction-Tuning Data：指令微调数据，用于提升模型遵循指令的能力。 - 合计规模：6T 多模态 token

实验设置 - 模型规模：1B、8B 参数（两组） - 训练 token 预算：6.25B、50B、200B 三档 - 策划策略维度：过滤（filtering）、混合（mixing）、格式化（formatting）、采样（sampling）

评测体系 - 核心评测套件：33 个任务（Core Suite） - 扩展评测：52 个下游基准，覆盖 9 个领域 - 最终指标：8B 模型在 200B token 预算下对 Core Suite 的准确率

核心发现：混合优于过滤

论文最重要的发现是数据混合策略，而非过滤策略，是决定 VLM 训练质量的关键杠杆：

  1. 指令密集型混合 > 描述密集型混合：以指令型数据为主的混合在扩展时（更大模型、更多 token）持续优于以 caption 为主的混合，且规模越大优势越显著。这说明指令数据携带更高密度的语义信号，其价值随规模放大而更充分释放。

  2. 过滤的局限性：精细的质量过滤在小规模训练时有一定收益，但随着规模增长，其边际收益快速趋近于零。研究者的时间和算力应该优先投入在混合比例的优化上。

  3. DCVLM-Baseline 数据集：基于上述发现构建的开源数据集，用 200B token 训练 8B VLM 可达到 63.6% Core Suite 准确率，比 FineVision（SOTA 开放 VLM 训练数据集）高出 +5.4pp。

关键实验与数据

实验维度 关键结论
过滤 vs. 混合 混合策略在所有规模下均优于过滤；过滤的收益主要体现在小规模
指令型 vs. 描述型混合 指令型随规模增大优势持续扩大，描述型存在收益天花板
1B vs. 8B 模型 8B 模型能更充分地利用高质量数据策略的收益（规模越大，策略越重要）
DCVLM-Baseline vs. FineVision 8B VLM + 200B tokens：63.6% vs. 58.2%（+5.4pp）

亮点与局限

亮点

  • 首个系统性 VLM 数据策划基准：填补了 VLM 领域数据工程缺乏标准化评测的空白，为社区提供了可复现的实验基础设施。
  • 反直觉的核心发现：过滤是社区主流关注点，但 DCVLM 用实验证明混合策略才是真正的杠杆——这对工程团队的实践有直接的资源分配指导意义。
  • 规模扩展性分析完整：1B→8B、6.25B→200B token 的多维度实验设计，让结论具有较强的可信度和迁移性。
  • 完全开源：DCVLM 和所有 artifact 都会公开发布（datacomp.ai/dcvlm/），降低复现门槛。

局限

  • DCVLM-Baseline 虽然比 FineVision 高 +5.4pp，但 63.6% 在绝对性能上仍有较大提升空间（52 个评测基准的具体分布未知）。
  • 四类数据的最佳混合比例在不同任务域（医疗/科学/日常）可能存在较大差异，基准的通用性有待进一步验证。
  • 被引为 0，尚未经过社区广泛验证；预印本状态，方法论细节可能存在变更。
  • 参与策划实验的模型规模上限为 8B，更大规模（SOTA 级别如 70B+）的结论未知。

对工程落地的启发

对 VLM 训练团队的直接指导：

  1. 重新分配资源：如果团队正在投入大量人力设计图像/文本质量过滤器，应考虑将一部分精力转移到数据类型的混合比例优化上——特别是增加指令型数据的比例。

  2. 扩展性优先：在设计数据 Pipeline 时，优先考虑那些在更大规模下收益不会衰减的策略（指令型混合），而非在小规模上有优势但难以 scale 的精细过滤规则。

  3. DCVLM-Baseline 作为 Baseline：如果你的团队正在训练 1B-8B 级别的 VLM，DCVLM-Baseline 是一个开箱即用的训练数据集，可直接用于基线对比或二次开发。

  4. 评测先行：DCVLM 的 33-task Core Suite 是一个相对紧凑且覆盖面广的评测集，工程团队可以用它来快速评估自己数据策划决策的质量，而不必每次都跑完整的 52 个下游任务。

与同方向工作的关系

工作 与 DCVLM 的关系
DataComp for CLIP（2023） DCVLM 将 DataComp 的方法论扩展到 VLM 领域，是多模态版的重要扩展；CLIP 版聚焦图像嵌入，DCVLM 聚焦 VQA 和多模态理解
FineWeb / FineWeb-Instruct 同属数据质量研究，但 FineWeb 专注于 LLM 的文本数据，DCVLM 聚焦多模态数据策划
FineVision 最直接的对比基线（SOTA 开放 VLM 数据集）；DCVLM-Baseline 在同等训练规模下高 +5.4pp
LLaVA / InstructBLIP 作为 VLM 训练结果而非数据基准；DCVLM 的发现可指导这类模型的训练数据选择

适合谁读

  • VLM 研究者：特别是关注训练数据质量、数据策划策略的团队。
  • 多模态模型工程师：在生产环境训练 1B-8B 级别 VLM 的团队，需要系统性方法评估数据决策。
  • 数据集构建者：正在构建多模态训练数据集，希望有benchmark来指导混合比例和过滤策略。
  • AI infra 团队：负责数据 Pipeline 设计，需要在有限算力下最大化数据效率的团队。

参考来源

  • arXiv Abstract Page: https://arxiv.org/abs/2606.28551
  • Paper Card: 194-2606-28551.md（含 TLDR、被引、主题分类）

注：DCVLM-Baseline 训练 8B 模型的具体架构（如 LLaVA 结构、LLaMA 底座类型）、Core Suite 33 个任务的具体名称和评测方法、52 个下游任务的分布细节，原文未在 Abstract 中给出，读者可查阅 PDF 或 datacomp.ai/dcvlm/ 补充。

工程落地与核查（Jay）

工程可行性评估

可直接落地的部分： - 指令型数据混合比例优化是工程团队今天就能实践的策略——不需要等论文完整版发布，核心结论（混合 > 过滤、指令型 > 描述型）已从 Abstract 可推断。 - DCVLM-Baseline 已开源（datacomp.ai/dcvlm/），可作为 1B-8B VLM 训练的起点数据集，降低冷启动成本。 - 33-task Core Suite 提供了相对轻量的评测方案，工程团队可用它替代 52 个下游任务的完整评测来快速验证数据决策。 - 过滤策略在小规模训练时仍有价值（原文明确），这意味着小规模实验阶段过滤规则仍有用武之地，不应完全丢弃。

存疑或需要验证的部分： - 63.6% Core Suite 准确率是在"200B token + 8B 模型"条件下取得的，1B 模型或更少 token 下的绝对性能未披露，小团队直接套用需降低预期。 - "指令密集型混合"的指令数据来源、格式和质量标准未在 Abstract 中详细说明，盲目增加指令数据而不控制质量可能适得其反。 - 52 个下游任务的评测结果分布未知——DCVLM-Baseline 是否在某些任务类型上显著优于/劣于 FineVision 尚不明确。

生产部署核查清单

  1. 数据混合比例的实证路径：建议先用 DCVLM 报告的配比做 baseline，再用自己场景的数据做 ablative 实验（固定总 token 数，改变指令型/描述型比例），而非直接照搬论文比例。
  2. 过滤规则的就绪状态：过滤在小规模仍有价值，建议保留现有过滤 Pipeline 作为"安全网"，同时在混合比例维度做增量探索。
  3. 评测选型：33-task Core Suite 适合快速迭代，52 个下游任务适合最终验收——建议建立两层评测节奏：每轮数据变更跑 Core Suite，通过后跑完整 52 任务。
  4. 模型规模上限注意：论文结论在 1B-8B 模型上验证，70B+ SOTA 模型上的数据策略表现未知，若团队计划训练更大模型，该基准结论的适用性需重新验证。
  5. 指令数据质量审核：指令型数据带来高扩展性优势，但前提是指令数据本身质量高——生产引入新指令数据源时，建议先跑一次 Core Suite 对比，验证质量达标再大规模引入。

存疑项

  • 原文未给出 33 个 Core Suite 任务的具体名称和评测方法，难以判断评测是否覆盖特定业务场景（如医疗 VQA 或代码图理解）。
  • 52 个下游基准的评测结果分布未披露——是否存在某些任务类型 DCVLM-Baseline 反而不如 FineVision 的情况未知。
  • 论文为预印本（2026 年 6 月提交），尚无同行评审，实验设置和结论可能存在变更。
  • 被引 0，尚未经社区独立复现，结论稳健性需等待后续验证。