机器"看懂"猫狗用了五年，真正难的从来不是模型

  • 关联论文：1409.0575

在深度学习之前，谁的算法好谁说了算。2010 年之前的计算机视觉像一场没有裁判的考试：每个实验室用自己的私有小数据集测一测，数字漂亮就写进论文，跨论文谁也没法比。ImageNet 和它配套的年度竞赛 ILSVRC 改变的正是这件事——先建一个百万张、千类别、按 WordNet 语义体系组织的图像库，再把它固定成每年自动跑、自动算分的公开榜单。"进步"从此有了公共刻度。

为什么重要

这篇 2015 年初的 v3 论文不是方法论文，是一份领域体检报告。它的价值在于用五年竞赛的真实数据回答了一个反直觉的结论：把 top-5 分类错误率从 28.2% 压到 6.7%（仅计使用官方训练数据的队伍），靠的不是某个天才架构，而是大规模有监督数据 + 公开可比的榜单机制这两件"基础设施"。

更关键的是它对"机器已超过人类"这句话的处理。作者请受训标注员在测试集上实测：标注员 A1 训练 500 张后标注 1500 张，错误率 5.1%；同样本上 GoogLeNet 为 6.8%，单边 Z 检验 p = 0.022。换句话说，"人类略优"这件事只有边缘显著性。论文没有宣布胜利，而是把样本量、训练量、显著性一起摆上台面——这种克制本身才是方法论。

核心机制：榜单如何制造进步

五年里最大的两次跳变有明确归因。2010 年冠军靠 SIFT + LBP 非线性编码加随机 SVM，纯特征工程；2011 年同一路线的改进有限，说明特征路线接近天花板。2012 年 AlexNet 用深层 CNN + GPU + ReLU + dropout，错误率断崖下降；2014 年 GoogLeNet（Inception）在固定计算量下大幅加深加宽，分类拿到 6.66%。

由此归纳出的因果很清楚：在固定预算下把模型做得更深更宽才有效，在旧架构上微调几乎无效。 这条经验直接铺向 ResNet——深度不再是障碍，是因为残差连接让它可训练。

论文还做了一件被低估的事：用"逐类取历届最优"拼出一个乐观模型，得到分类准确率 94.6%，但类间极差高达 41.0%（检测任务极差 84.7%，1000 类里 121 类已达 100%，最难类只有 59.0%）。这张表告诉你哪些类别根本不该指望算法解决，哪些是可攻区。

证据边界

引用时必须带口径。"人类 2.4%"不是实测，而是两人共同标注的 204 张样本上"任一标对即算对"的 oracle 上界，同样本机器 4.9%。5.1% 和 12.0% 必须写成"A1/A2 + 训练量 + 样本量"。A2 只有 258 张图，而测试集是 10 万张——用小样本估人类错误率去对大样本测机器，本身就是不严谨的对照，Z 检验只缓解了风险，没有消除它。GoogLeNet 错误率 6.7% 是 top-5 口径，94.6% 是逐类乐观模型准确率，mAP 与 top-5 错误率不同量纲，跨赛道冠军不可混比（2014 年分类冠军是 GoogLeNet，定位最优却是 VGG 的 25.32%）。

工程局限

错误分类学是开放清单，不是完备表。论文 §6.3.3 把错误拆成多物体（占 24%，人类 16%）、ground truth 错标（约 0.3%）、含滤镜图像（占误分类 13%）、抽象表现形式（约 6%），而 GT 本身就有 0.3% 噪声，这是任何"模型 vs 标注员"差距的误差地板。此外论文自承无法隔离"更多数据"与"更好算法"的贡献——深度学习早期架构和数据配方同时在变。检测赛道的人机对照结论尤其脆弱，涉及 IoU 判定与"难以定位"的主观性，置信区间很宽。

真正可迁移的落地面：固定 hold-out + 冻结评测脚本 + 拒绝改测试集的纪律；把错误类型做成可扩展 checklist 再动手修；标注质检照抄论文的三步拆分（画框 → 校验框 → 校验漏框），预算优先投校验而非标注；先算自己的"乐观模型表"再定哪些类别值得投入。

标题变体

  1. 机器看懂猫狗用了五年：ImageNet 复盘里最反直觉的结论
  2. 28.2% 到 6.7%：赢的不是架构，是数据和榜单
  3. "机器超过人类"这句话，2015 年那篇论文是怎么拆的

小红书卡片文案

ImageNet 竞赛五年，分类 top-5 错误率从 28.2% 掉到 6.7%。但最值得抄的不是成绩单。

三件事： ① 进步最大的一次不是调参，是 2012 年"深度 + 算力同时到位"；在旧架构上微调几乎无效。 ② "人类 5.1% 优于机器 6.8%"只是 p=0.022 的边缘显著，而且样本只有 1500 张 vs 机器的 10 万张。 ③ 常被引用的"人类 2.4%"不是实测，是 204 张图上的 oracle 上界。引用时必须带这个限定。

真该带走的：公开榜单的价值是可比性基础设施——固定测试集、写死评测脚本、拒绝改测试集。你团队复制这个模式，最低成本版本就是这三件事。