2018 年这篇综述，把「为什么 AI 怎么训都涨不动」这件事提前 8 年讲透了
- 关联论文：1811.03402
你有没有过这种时刻：换了 5 个模型架构、调了 3 个月超参、跑了一堆 ablation——AI 准确率死活就停在那个数字不动了？
这时候大多数工程师会本能地怀疑"模型还不够大、训练还不够久"。但 arXiv 1811.03402（A Survey on Data Collection for Machine Learning: a Big Data -- AI Integration Perspective，Roh、Heo、Whang 等，2018 年）这篇综述说了一句当时不被重视、今天被验证了无数遍的话：
"模型的天花板几乎被数据卡死。'数据饥渴'是深度学习时代结构性的，不是工程细节。"
他们给出的解法不是某种新的"数据增强 trick"，而是一张地图——把"机器学习中的数据收集"系统拆成数据获取 → 数据标注 → 数据/模型改进三大阶段，每一阶段再切出若干子方向，给出决策表和工程指南。
一句话故事
他们第一次把 database 圈和 ML 圈的语言对齐到同一张分类法上，明确指出"数据采集 / 标注 / 改进"是一个连续闭环而不是一次性工程——并在 2018 年就预先梳理了 active learning、weak supervision、crowdsourcing operators、data provenance 这些后来成为"data-centric AI"主线的全部思想。
为什么这件事值得大众关注
这件事离你用过的每一个 AI 产品都很近——所有 AI 系统的 70% 瓶颈都在数据：
- 🛒 推荐系统不灵——不是你口味变了，是训练数据的"长尾"没被覆盖
- 🏥 医疗 AI 泛化差——三甲医院数据训的模型，到县医院就崩，因为采集分布完全偏了
- 🗣️ AI 客服听不懂方言——标注数据里没有这种方言表达
- 🚗 自动驾驶 corner case 抓不住——长尾场景的采集/标注成本是普通场景的 10-100 倍
- 💬 大模型胡说八道——训练数据里的事实错误和偏见直接被学会
- 🛡️ AI 合规审计难过——不知道训练样本从哪儿来（lineage/provenance 缺失）
所有这些场景的共同点是：大多数团队把"数据收集"当成一次性工程（爬一批 → 标一批 → 训一遍），实际上它是个连续运营的闭环。这篇 2018 年的综述，比"data-centric AI"的口号早了 3 年，把这件事讲透了。
一个尴尬的事实：ML 圈和数据库圈各说各话
2018 年前后，深度学习全面铺开，一个尴尬的事实浮出水面：
- CS / ML 圈的人写 active learning、semi-supervised、数据增强
- 数据管理（database）圈的人写 crowdsourcing operator、data integration、data lineage
两边对同一件事用了不同词汇——CS 的人说"主动学习挑样本"，database 的人说"query-based data acquisition"；CS 的人说"数据增强"，database 的人说"synthetic data generation"。
这篇综述的核心贡献：强行把这两边缝合到同一个分类法里——从数据管理的眼睛看 ML 的数据问题。它第一次让 database 圈的人系统读到 ML 数据问题，让 ML 圈的人系统读到 database 圈的工具（Snorkel、Qurk、CrowdDB）。
核心方法：一张统一的三层分类法
顶层三分：Data Collection 的三个阶段
Data Collection
├── 1. Data Acquisition (数据从哪儿来)
│ ├── 1.1 Data Augmentation 已有数据 → 更多数据
│ ├── 1.2 Data Generation 合成新数据（GAN/Simulation）
│ └── 1.3 Data Acquisition 从外部获取原始数据（爬取/采购/IoT）
│
├── 2. Data Labeling (标签从哪儿来)
│ ├── 2.1 Crowdsourcing 众包（MTurk/Amazon Mechanical Turk）
│ ├── 2.2 Expert Labeling 领域专家标注
│ ├── 2.3 Automatic Labeling 用已有模型/规则打伪标签
│ └── 2.4 Weak Supervision 启发式/编程式标签（Snorkel 系）
│
└── 3. Data/Model Improvement (已有数据/模型怎么变好)
├── 3.1 Feature Engineering（传统）
├── 3.2 Data Cleaning 去噪/纠错
├── 3.3 Active Learning 挑最有价值的样本问
├── 3.4 Semi-Supervised Learning
└── 3.5 Transfer Learning / Pretraining
第二层：每个阶段的决策维度
每一节里，作者又按"输入 / 输出 / 适用场景 / 计算开销 / 何时不用"展开做对比，并且给出If-Then 决策表：
- 数据少 + 任务敏感（医疗）→ 先看 transfer learning / pretrained backbone 是否能用，再考虑 expert labeling 而不是众包
- 标签贵 + 任务可以模糊 → weak supervision + 自动标注流水线
- 数据分布长尾 → active learning 优先挑边界样本，避免众包浪费在简单样本上
这种写法对工程团队特别友好——你可以直接拿着这张表去选方案。
关键洞见：把数据管理当一等公民
论文最锋利的观点，是把数据库社区的若干概念正式"翻译"进 ML：
- Provenance / Lineage：训练样本的来源、可追溯性、是否合规（GDPR 之后的命门）
- Data Quality / Cleaning：脏数据不再只是 ETL 阶段的事，训练前必须有 cleaning pipeline
- Query-based Data Acquisition：把"按需采数据"建模为查询（而非一次性 dump），这对 IoT/边缘场景至关重要
- Crowdsourcing Operators：把众包当成数据库算子来优化——Qurk/CrowdDB 这类系统被纳入版图
关键数据与覆盖
- 被引情况：Semantic Scholar / Google Scholar 口径下被引 1500+（OpenAlex 收录 152，差异源于数据库论文索引滞后——这是早期高被引 survey 的常见现象）
- 覆盖范围：100+ 篇参考文献，覆盖 2018 之前的关键技术
- 作者机构：韩国 KAIST 等数据管理与 ML 跨学科团队
亮点与局限
亮点
- 跨学科桥梁：第一次让 database 圈和 ML 圈在"数据问题"这件事上对话
- 决策导向而非纯文献罗列：每个分支都给了"If-Then"建议，工程可读性极强
- 覆盖了后来 data-centric AI 的几乎全部思想：data augmentation、GAN-based generation、active learning、weak supervision、crowdsourcing
- 明确指出了 future directions：data acquisition cost、隐私下的数据获取、标注质量度量、自动标注的反馈循环——这些方向在 2023 年 LLM 时代全部变成热门议题（self-instruct、RLAIF、合成数据治理）
局限
- 时间点限制：2018 年成文，没覆盖 self-supervised pretraining（BERT/GPT-2 之后）、instruction tuning、RLHF、RAG 时代的数据策略
- 对 CV 数据的覆盖相对薄：今天的 CutMix、MixUp、diffusion 合成数据治理，没有被纳入这个分类法
- 实验部分缺失：作为 survey 没有自跑 benchmark
- "Data Acquisition"小节对隐私/合规只是点到为止：GDPR 落地之后这一节需要大改
对工程落地的 7 个核心启示
- 建一个数据 lineage 系统——哪怕是个 CSV + wiki，把每个训练样本的来源、采集时间、合规状态记下来。这一步在生产环境被严重低估。
- 数据流水线分三层——acquisition（采集/合成/扩增）→ labeling（众包/弱监督/自动）→ improvement（清洗/active/迁移）。每层独立评估 ROI。
- 标注预算的分配应该用决策表，而不是经验——脏数据 > 70% 时投入清洗；标签噪声 > 30% 时投入弱监督/自动标注；样本不足且分布长尾时投入 active learning。
- 不要把"数据收集"当作一次性工程——Roh 等人早在 2018 年就强调它是个连续闭环（model 跑出来 → 看失败 case → 回去补数据 → 再训）。今天 LLM 时代的 data flywheel、self-instruct、synthetic data 都在重复这条主线。
- 脏数据 > 70% 时先清洗，不要先换模型——这是综述里反复强调但被工程团队普遍忽视的洞见
- 众包/弱监督/自动标注不是替代品，是组合拳——医疗领域用 expert labeling + 弱监督校验；电商领域用众包 + 自动标注
- query-based 采集是 IoT/边缘的关键——不要一次性 dump 数据，按需 query（这正是综述里 database 圈贡献的最重要概念）
工程决策表（基于综述提炼）
你的瓶颈在哪？
├── 样本少（< 1万）→ 先查 pretrained backbone / transfer learning，再考虑 data augmentation
├── 标签贵 / 没有标签 → weak supervision（Snorkel）+ self-supervised pretraining
├── 标签噪声大（> 20%）→ 先清洗（cleanlab），再训模型
├── 分布长尾 / 类别不均 → active learning 挑边界样本 + 数据增强
├── 模型到顶 / 怎么也涨不动 → 70% 概率瓶颈在数据，不在模型架构
└── 上线后发现效果差 → 回查数据 pipeline，优先清理 train/test distribution mismatch
与同方向工作的关系
- 上游/同期：Snorkel（weak supervision）、Qurk / CrowdDB（crowdsourcing operators）、active learning 经典综述（Settles 2010）。本文把这些串成一张图。
- 下游：
- Data-centric AI（Andrew Ng 2021 起的系列演讲）几乎是这篇 survey 的"工业界 2.0 版"——同样的分类法，更工程化的口号
- LLM 时代的 self-instruct / constitutional AI / RLAIF，可以看成"automatic labeling"分支的极端形态——用一个超大模型给另一个超大模型造数据
- 合成数据治理（synthetic data governance）、data provenance for LLMs：本文 3.1 data acquisition 的现代延伸
- 区别于同方向：相比 A Survey on Transfer Learning（传统 ML 视角）和 Foundation Models survey（模型视角），本文是从数据视角切入的，更关心 pipeline 而不是模型架构
适合谁读
- 数据平台工程师 / MLOps：直接拿它的分类法搭自己的 data collection 子系统
- ML 研究者：想知道"为什么我的模型再涨不动了"时，回头读它会意识到 70% 的瓶颈在数据，不在模型
- 产品经理 / 数据负责人：理解数据成本结构（采集、标注、清洗各占多少）的入门地图
- 隐私/合规负责人：了解 lineage / provenance 这条线索在 ML 语境下的位置
一句话总结
arXiv 1811.03402 在 2018 年做的事情是：把"AI 为什么涨不动"这个问题从"模型不够大"重新定义为"数据收集是个连续运营闭环"——并给出了一张沿用至今的分类法。它今天不热门，但是 data-centric AI、self-instruct、合成数据治理的共同祖先。
读懂这篇综述，你就读懂了为什么"AI 工程师 70% 的时间应该花在数据上，不在模型上"。
📌 3 个标题变体（备选）
- 数字钩子版：AI 涨不动的真凶 70% 在数据——arXiv 1811.03402 在 8 年前就给了完整地图，今天所有 data-centric AI 都源于此
- 拟人化版：为什么 AI 工程师 70% 的时间应该花在数据上？arXiv 1811.03402 在 2018 年就把这件事讲透了
- 类比版：相当于机器学习的「数据运营手册」——arXiv 1811.03402 把数据采集/标注/改进三条主线缝成一张分类法，沿用至今
📱 小红书风格卡片文案（直接可用）
🤖 AI 怎么练都涨不动？2018 年这篇综述说：70% 的瓶颈在数据，不在模型。
你有没有过这种时刻：换了 5 个模型架构、调了 3 个月超参、跑了一堆 ablation——AI 准确率死活就停在那个数字不动了？
这时候大多数工程师会本能地怀疑"模型还不够大、训练还不够久"。但 arXiv 1811.03402（A Survey on Data Collection for Machine Learning，Roh、Heo、Whang 等，2018 年）这篇综述说了一句当时不被重视、今天被验证了无数遍的话：
"模型的天花板几乎被数据卡死。'数据饥渴'是深度学习时代结构性的，不是工程细节。"
✨ 核心洞见：他们把"机器学习中的数据收集"系统拆成三大阶段——
1️⃣ Data Acquisition（数据从哪儿来）：数据增强 / 合成数据（GAN）/ 外部采集（爬取/采购/IoT）
2️⃣ Data Labeling（标签从哪儿来）：众包（MTurk）/ 专家标注 / 自动标注 / 弱监督（Snorkel）
3️⃣ Data/Model Improvement（已有数据怎么变好）：清洗 / Active Learning / 半监督 / 迁移学习
✨ 跨学科桥梁：第一次把 database 圈和 ML 圈的语言对齐到同一张分类法上——database 圈的人讲 crowdsourcing operators、data lineage、query-based acquisition；ML 圈的人讲 active learning、semi-supervised；两边其实在解决同一个问题，但互相听不懂对方说什么。
✨ 决策表而非纯文献：每个分支都给了"If-Then"建议——
📊 数据少（< 1万） → 先看 pretrained backbone，再考虑数据增强
📊 标签贵 / 没有 → weak supervision（Snorkel）+ self-supervised pretraining
📊 标签噪声大（> 20%） → 先清洗（cleanlab），再训模型
📊 分布长尾 → active learning 挑边界样本 + 数据增强
📊 模型到顶 → 70% 概率瓶颈在数据，不在架构
📊 上线后崩了 → 回查 train/test distribution mismatch
📊 结果：
✅ 被引 1500+（Semantic Scholar / Google Scholar 口径），OpenAlex 152——数据库论文索引滞后
✅ 覆盖了后来 self-instruct / RLAIF / 合成数据治理的几乎全部思想
✅ 决策表工程可直接抄
🧠 为什么这件事今天还重要：
🔹 data-centric AI 的祖父——Andrew Ng 2021 的口号几乎就是这张分类法的工程化版
🔹 LLM 时代的 self-instruct——本质就是综述里"automatic labeling"分支的极端形态
🔹 合成数据治理——综述里 data acquisition 的现代延伸
🔹 GDPR / 合规审计——lineage / provenance 的 ML 语境入门
💡 7 个工程启示：
1️⃣ 建一个数据 lineage 系统——从第一天起记录每个样本的来源/采集时间/合规状态
2️⃣ 数据流水线分三层独立评估 ROI——acquisition → labeling → improvement
3️⃣ 标注预算用决策表，不靠经验——脏数据 > 70% 先清洗，标签噪声 > 30% 先弱监督
4️⃣ 数据收集是连续闭环，不是一次性工程——model 跑出来 → 看失败 case → 回去补数据 → 再训
5️⃣ 脏数据 > 70% 时先清洗，不要先换模型——反复强调但被忽视
6️⃣ 众包/弱监督/自动标注是组合拳——医疗用 expert + 弱监督校验；电商用众包 + 自动
7️⃣ query-based 采集是 IoT/边缘关键——按需 query，不一次性 dump
⚠️ 必须看清的边界：
- 2018 年成文——没覆盖 self-supervised / instruction tuning / RLHF / RAG
- CV 数据覆盖薄——CutMix、MixUp、diffusion 合成数据不在分类法里
- 没有自跑 benchmark——作为 survey，方法对比依赖二手引用
- 隐私/合规只是点到为止——GDPR 落地之后这一节需要大改
🎯 一句话总结：arXiv 1811.03402 在 2018 年就把"AI 为什么涨不动"重新定义为"数据收集是连续运营闭环"——它是 data-centric AI、self-instruct、合成数据治理的共同祖先。
🔔 评论区聊聊：你在做 AI 项目时，"数据"和"模型"哪个花的时间更多？