给卷积网络装一个"注意力小开关"，几乎不花钱就能涨点
- 关联论文：1807.06514
2018 年，注意力机制还是 NLP 和跨模态任务的专利。CV 这边的工程师们还在 VGG、ResNet、ResNeXt 一条路上死磕"堆深度、加宽度、换基数"。但一篇 BMVC 2018 的口头报告（BAM: Bottleneck Attention Module，arxiv 1807.06514）悄悄改变了游戏规则：它证明了一件事——只要在每个下采样点装一个不到 1% 参数的小模块，分类、检测都能稳定涨点。
为什么重要
当时的注意力模块（比如 Non-Local）一旦塞进 backbone，FLOPs 直接翻一两个数量级，落地即崩。工业界需要的是"少改动、多收益"的增强器，而不是替代主干的庞然大物。
更隐蔽的问题是：每次下采样后，特征进入新的分辨率区间，但旧 backbone 完全没有显式告诉模型"这个尺度该看哪里、该用哪些通道"。换句话说，下采样点正是注意力的真空带。
BAM 的核心主张就一句话：在每个 stage 的瓶颈点插一个轻量注意力模块，让通道和空间注意力并行工作。
核心机制
BAM 的输入是一张特征图 F，两条支路同时开工：
- 通道支路：全局平均池化把空间压扁，再用一个小 MLP（C/r 隐藏层，r=16）学出每个通道该被放大还是缩小，输出一个 C×1×1 的权重向量。
- 空间支路：用 1×1 卷积把通道压到 C/r，再用两个 dilation=4 的 3×3 空洞卷积扩大感受野，最后压回一张 H×W 的空间热力图。
两条支路的输出相加，经过 BatchNorm 校准，再以残差形式回加到原特征上。最关键的设计是"残差"二字——万一学坏了，至少退化成恒等映射，不会拖累 baseline。
参数代价极小：ResNet18 加 BAM 多了 0.02M 参数、0.01G FLOPs；ResNet50 多 0.36M、0.08G。top-1 error 却能普遍降 0.5 到 0.9 个百分点。
证据边界
论文在四个数据集上一把抓：分类用 CIFAR-100 和 ImageNet-1K，检测用 VOC 2007 和 MS COCO，同一个 BAM 模块、同一个超参，在四个任务上都报告正收益。ImageNet 的具体数字（ResNet18: 29.60 → 28.88，ResNet50: 24.56 → 24.02，ResNet101: 23.38 → 22.44）已经可以从作者主页 PDF 表格里直接核对。
但要小心几条边界：第一，论文没给 ResNet152 以上的数据，深度网络外推存在不确定；第二，CIFAR-100、VOC、COCO 的逐项 verbatim 数字没在 abstract 里列出，引用时要回查 PDF 表格；第三，"通道+空间相加"这种耦合方式后来被证明粗糙——2020 年的 NeurIPS AutoLA 等工作表明，简单相加的天花板已经被更复杂的全局上下文聚合打破。
工程局限
工程上有两个小坑：BAM 用的 3×3 空洞卷积（dilation=4）在某些嵌入式 GPU（如 Jetson Nano）上可能不被原生支持，要手动 fallback；和 SE 模块同时叠加使用时，两条通道压缩支路会并行吃掉 FLOPs，实测时反而不如单独用 CBAM。
但历史地位很明确：BAM 和同年同组发表的姊妹篇 CBAM（ECCV 2018）一起，把"注意力可以是 backbone 的通用增强器"这条范式钉死。今天 timm、mmdetection 里的 CBAM 实现，根上都长着 BAM 的影子。
一句话总结：这是 2018 年最便宜的涨点配方——花不到 1% 的参数成本，换一个让网络学会"看哪里"的能力。
标题变体（3 个）
- 花 0.02M 参数换 0.7 个点涨幅：BMVC 2018 这篇论文把"注意力"做成了 CNN 的标配
- 当 ResNet 学会"看哪里"——BAM 注意力模块的极简涨点哲学
- 通道 + 空间双路并行：2018 年这个被忽视的注意力模块，是 CBAM 的姊妹篇
小红书卡片文案
给 ResNet 装一个"小开关"，分类和检测同时涨点？
2018 年的 CV 圈还在死磕堆深度、加宽度。但有一篇 BMVC oral 论文悄悄证明了一件事：只要在每个 stage 下采样前，塞一个不到 1% 参数的"瓶颈注意力模块"（Bottleneck Attention Module），分类 top-1 错误率就能降 0.5–0.9 个百分点。
🔧 两条支路并行：通道支路用全局池化+MLP 决定"看什么"，空间支路用空洞卷积决定"看哪里"。 ➕ 残差回加：学坏了最坏退化成恒等映射，绝不拖累 baseline。 💸 代价极小：ResNet18 +0.02M 参数，ResNet50 +0.36M——几乎不要钱。
局限也有：只在 bottleneck 挂、不在每个 conv 后挂，对非常深的网络边际收益下降；空洞卷积在某些嵌入式 GPU 上要手动 fallback。
但历史地位很硬：它和同年同组的 CBAM 一起，让"注意力可以是 backbone 通用增强器"这条范式彻底钉死。今天 timm、mmdetection 里的注意力实现，根上都长着它的影子。