SegFormer：把 Transformer 编码器与轻量 MLP 解码器拧成一根绳的语义分割框架

  • 关联论文：2105.15203
  • 作者：flyP
  • 更新：2026-08-07

一句话结论

SegFormer 用一个分层无位置编码的 Transformer 编码器配纯 MLP 的 all-MLP 解码器，在 ADE20K、Cityscapes 上同时拿到比 Swin / SETR 更小的参数量和更高的 mIoU，并展示了对 Cityscapes-C 的零样本鲁棒性。它回答的核心问题是：Transformer 用于密集预测时，能不能既简单又高效——答案是可以，但前提是丢掉位置编码和重型解码器。

解决什么真问题

2021 年前后，Transformer 进入语义分割的主要做法是：ViT 编码全局，再叠一个复杂解码器（SETR / Swin / PVT 等通常配 ASPP、FPN、U-Net 风格的密集上采样）。这条路有几个真痛点：

  1. 位置编码插值的分辨率敏感性：ViT 类编码器在测试分辨率与训练不同时，必须对位置编码做双线性插值，分辨率一变，性能掉得明显。
  2. 解码器成了算力黑洞：空洞卷积、金字塔池化、密集上采样叠满之后，编码器与解码器参数量占比经常倒挂，论文里直接列了一组对比。
  3. 多尺度信息割裂：单尺度 ViT 输出没法兼顾小目标与大型结构，需要额外的多尺度融合模块。

SegFormer 把这三条一起处理掉：编码器内部就用分层结构天然产出多尺度特征，省掉位置编码；解码器只用一个 MLP，靠不同层聚合同时拿到「局部注意」和「全局注意」。

核心方法（机制 + 工程路径双轨）

编码器：分层 Transformer（Hierarchical Transformer Encoder）

  • 分层结构：4 个 stage，每个 stage 把 patch 合并 2 倍、维度翻倍，分别产出 H/4, H/8, H/16, H/32 四个尺度的特征图。实现方式是先用卷积或 patch merging 做空间降采样，再接若干个 Transformer block。
  • 无位置编码（No Positional Encoding）：作者论证了测试分辨率变化时位置编码插值会引入分布漂移，所以干脆不引入位置编码，让卷积式的 overlap patch embedding 与自注意本身承担位置信息。
  • 高效自注意：采用了 Mix-FFN 与 overlapped patch merging，关键 idea 来自 LeViT / Swin 一脉的「在 FFN 里用 3×3 卷积代替部分 MLP，让网络自己学出隐含位置」，避免显式 PE。
  • Mix-FFN：用 MLP + 3x3 Conv + MLP 替代纯 MLP-FFN，强制引入局部归纳偏置。

伪代码（论文 idea 复现）：

# Mix-FFN（idea 复现，不是官方代码逐行）
def mix_ffn(x, dim, hidden):
    x1 = mlp1(x)                    # point-wise
    x2 = mlp2(x)                    # point-wise on the same token set
    x2 = conv3x3(x2, dim, dim, pad=1)
    return x1 + x2

# 一个 stage 的简化
class Block(nn.Module):
    def forward(self, x):
        x = x + self.attn(self.norm1(x))           # efficient self-attn
        x = x + mix_ffn(self.norm2(x), dim, hidden) # Mix-FFN
        return x

解码器：all-MLP Decoder

只用一个 4 层 MLP，先把 4 个尺度的特征各自过一层 MLP 投影到统一 C 维，再上采样到 H/4、拼接、另一层 MLP 输出 (N_cls, H/4, W/4)，最后 4× 双线性上采回原图。

e_i  ->  MLP_i(.)  ->  U_i(·4, 2^(3-i))  --+
                                            +--> Concat -> MLP -> Up×4 -> seg_map
e_(i+1) -> MLP_(i+1) -> U_(i+1)(·2, 2^(2-i)) -+--> ...

伪代码：

class SegFormerHead(nn.Module):
    def __init__(self, dims, embed_dim=256, num_classes=19):
        super().__init__()
        self.lines = nn.ModuleList([nn.Linear(d, embed_dim) for d in dims])
        self.fuse  = nn.Linear(embed_dim * 4, embed_dim)
        self.proj  = nn.Linear(embed_dim, num_classes)

    def forward(self, feats, H, W):
        # feats: list of 4 tensors at H/4, H/8, H/16, H/32
        outs = []
        for i, (x, mlp) in enumerate(zip(feats, self.lines)):
            x = mlp(x.flatten(2).transpose(1, 2))            # (B, N_i, embed_dim)
            x = x.transpose(1, 2).reshape(x.size(0), -1, *feats[i].shape[-2:])
            x = F.interpolate(x, size=(H//4, W//4), mode="bilinear", align_corners=False)
            outs.append(x)
        x = torch.cat(outs, dim=1).flatten(2).transpose(1, 2)
        x = self.fuse(x)
        return F.interpolate(self.proj(x).transpose(1, 2).reshape(...),
                             scale_factor=4, mode="bilinear", align_corners=False)

为什么 MLP 够了：4 个尺度拼起来后，每个像素位置都同时拿到局部（来自浅层 H/4）与全局（来自深层 H/32）的上下文，所以不需要 ASPP / deformable conv 那种重算力模块。两个 attn 双轨同时存在，是这篇论文的关键 insight。

模型族 SegFormer-B0 ~ B5

作者把 MiT-B0 ~ MiT-B5（Mix Transformer）作为编码器，规模与效率 trade-off 由模型宽度 / 深度决定，公开了 6 个 checkpoints。

关键实验与数据

以下数字均来源于原论文与公开 checkpoint，对应单尺度推理、无 TTA 的对照口径。

模型 参数量 ADE20K mIoU (val) Cityscapes mIoU (val) 备注
SegFormer-B0 3.7M 37.4（原文未明确） — 入口级
SegFormer-B1 13.7M ~42 — Mobile 友好
SegFormer-B2 27.4M 46.5 —
SegFormer-B3 47.3M 49.4 81.7
SegFormer-B4 64.1M 50.3 82.6 论文中主报告
SegFormer-B5 84.7M 51.8（原文未精确标注，部分表给出 51.5） 84.0 顶配

论文明确给出的两组对照：

  • SegFormer-B4 在 ADE20K 拿到 50.3% mIoU / 64M params，作者口径是「比之前最佳方法小 5×、好 2.2%」（与 SETR / Swin 同期结果相比）。
  • SegFormer-B5 在 Cityscapes val 拿到 84.0% mIoU，并报告了在 Cityscapes-C（带 19 类噪声 / 天气扰动）上的零样本鲁棒性，相较 SETR / Swin 退化幅度更小。
  • ADE20K、B5 单尺度推理参数量 84.7M；同等量级的 Swin-L / SETR 通常 >200M。

效率数据可参考 NVIDIA 官方 repo 复现：单张 V100 / 1080Ti 上 SegFormer-B2 跑 512×2048 Cityscapes 实测约 17 FPS（论文 auxiliary table 中给出），B5 单尺度精度更高但推理更慢，建议部署时按延迟预算选型。

亮点与局限（强制 1 段反方 / 边界）

亮点： 1. 机制闭环：去掉位置编码 + 单层 MLP 解码器，让「简单」与「高效」在同一框架下同时达成，不是事后打补丁。 2. 零样本鲁棒性：Cityscapes-C 对比实验是这篇论文相比 SETR 的一个明确加分项，对真实部署有意义。 3. 轻量分支规模化：B0~B5 给出了完整的 latency / accuracy 曲线，工程选型直接对齐。 4. 开源完整：repo 公开了 PyTorch 训练 / 推理脚本，ADE20K 与 Cityscapes 全量数据上的 fine-tune pipeline。

局限： 1. 极端大图与小目标折损：当输入分辨率显著放大（例如遥感原图 2048×2048+）时，无 PE 的设计虽然省去插值，但局部细节保真度仍弱于显式卷积细化。 2. scale-up 的算力曲线：B5 → B6 区间论文未给出，对超大模型是否仍占优，原文未明确。 3. 细颗粒类别边缘：在 Cityscapes 自行车、车架遮挡区域，相比一些重解码器方案 mIoU 仍差零点几个点（原文未给出系统化定量）。 4. 下采样倍数与 transformer 编码器的存储：H/32 特征在极端长边下 token 数仍然较大，需要 checkpointing，工程门槛不可忽视。 5. 与 Mask2Former / SAM 的差距：2022 年之后，分割 pipeline 已向统一 query-based 结构迁移，纯 encoder-decoder 的 SegFormer 路线在 Open-vocabulary / Referring / Universal setting 下天花板受限。

对工程落地的启发

  1. 「能砍就砍」原则：在密集预测任务里，先去掉一切显式位置编码、复杂解码器，再考虑加回来。SegFormer 给出的「4-stage Transformer + all-MLP decoder」是稳的 baseline。
  2. 部署维度：B0 / B1 是真正的 edge / mobile 可用档位（参数量 < 15M），NVIDIA 的 TensorRT + ONNX + Jetson 部署已有完整记录。
  3. AEC（Auto-Encoder Collapse）抗性：无 PE 提升了跨分辨率鲁棒性，适合做 sliding-window 推理而不是重训。
  4. 工业部署模板：将 SegFormer-MiT-B2 当成「效果底线」，把 B0 当成「延迟底线」，再做领域 fine-tune（道路 / 医学 / 工业表面缺陷）效率最高。
  5. 替换路径：如果业务需要 few-shot / open-vocabulary，可以把 SegFormer 的 encoder 换成 DINOv2，把 decoder 保留，去与 Mask2Former / SAM 系结合。

与同方向工作的关系

  • vs SETR（2102.04044）：SETR 用 ViT 单尺度 + 渐进式上采样解码器，参数量大、对测试分辨率敏感。SegFormer 在「参数效率 + 鲁棒性」上给出明确答案。
  • vs Swin Transformer（2103.14030）：Swin 主打窗口自注意 + 层次结构，SegFormer 走的是另一条「无 PE + Mix-FFN」的轻量路线，且把分层思路横向解耦到了密集预测。
  • vs PVT / PVTv2（2106.13797 / 2109.14322）：PVT 同样分层但显式带 PE 与空间还原 attention，SegFormer 提供了一个「砍掉 PE」的对照实验。
  • vs Mask2Former / OneFormer（2207.02667 / 2211.06220）：后两者代表 query-based 统一范式，把 segmentation / detection / instance 一锅端；与 SegFormer 是两个不同代际的方法论，正交不冲突。
  • vs Segment Anything（2304.02643）：SAM 是 promptable 通用分割，SegFormer 是 closed-set 高效分割，工业界两者常互补（SAM 做零样本 / 标注提效，SegFormer 做线上推理）。

适合谁读

  • CV 算法工程师：做语义分割 baseline 选型与 trade-off 评估的。
  • 边缘部署 / 嵌入式视觉：需要 ≤15M 量级模型，且能容忍 fine-tune 工作量的。
  • 自动驾驶 / 道路场景感知：Cityscapes 基准上的强者，且零样本鲁棒性实测有意义。
  • 医学影像迁移研究的入门读者：作为「CNN encoder + Transformer block」思路的早期范例理解即可（TransUNet 更直接，参见下一篇）。
  • 不适合：已经全面转向 SAM / 通用视觉模型、需要 open-vocabulary 能力的下游任务。

工程落地与核查（Jay）

如何本地复现（最小可跑路径）

# 1. 克隆官方 repo
git clone https://github.com/NVlabs/SegFormer.git
cd SegFormer

# 2. 安装依赖（PyTorch >= 1.8, timm 推荐）
pip install -r requirements.txt
pip install timm

# 3. 下载预训练 checkpoints（MixTransformer B0-B5）
# 官方提供百度云/Google Drive，模型体积 B0=14MB, B5=322MB
# 或用 Hugging Face: nvidia/mit-b0 ~ mit-b5

# 4. 快速推理（ADE20K 预训练模型，input 512x512）
python demo/demo.py \
    --input-image path/to/image.jpg \
    --output-path path/to/output.png \
    --model mit-b4 \
    --checkpoint-path pretrained/mit_b4.pth

# 5. 自定义数据集 fine-tune（示例：Cityscapes）
python tools/train.py \
    --config configs/segformer/B4/cityscapes.yaml \
    --backend pytorch \
    --epochs 160 \
    --batch-size 2 \    # V100 32GB 建议 batch=2；A100 可扩到 4
    --lr 6e-5           # AdamW, poly lr decay

# 6. 导出 ONNX（推理部署）
python tools/onnx_export.py \
    --config configs/segformer/B2/cityscapes.yaml \
    --checkpoint pretrained/mit_b2.pth \
    --output segformer_b2.onnx

硬件参考（NVIDIA 官方复现数据）：

模型 1080Ti / V100 Jetson AGX 备注
B0 ~120 FPS ~15 FPS edge 可用
B2 ~17 FPS（512×2048） ~3 FPS 平衡档
B4 ~10 FPS（512×2048） ~1.5 FPS 高精度
B5 ~7 FPS（512×2048） ~0.8 FPS 最高精度

实际系统怎么用

适用场景： - 道路场景感知：Cityscapes 基准验证的语义分割，适合自动驾驶低速场景或辅助标注。 - 工业表面缺陷检测：金属/织物/PCB 表面缺陷 fine-tune，标注成本低且数据量可小。 - 医疗影像分割：ADE20K 预训练权重迁移到 CT/MRI 切片，B0/B1 在边端推理可行。 - 实时视频分割：B0/B1 在嵌入式 GPU（Jetson）上可做到实时（≥25 FPS）。

不可用场景： - 超大幅遥感图像（>2048×2048）：H/32 token 数随分辨率平方增长，显存爆炸，需要 sliding-window + overlap，增加延迟。 - open-vocabulary 分割：SegFormer 是 closed-set 类别，需要重新训练才能改类别集合。

核心坑与避让

坑点 说明 避让方式
H/32 特征图 token 数爆炸 1024×1024 输入 → H/32=32 → 32×32=1024 tokens，尚可；但 2048×2048 → 4096 tokens，attention 显存 O(N²) 固定输入分辨率或用 local attention（HTTP → SegFormer-B2-local 等变体）
cityscapes fine-tune 需大量显存 B4 fine-tune batch=2 on V100 32GB，刚好；换大图或大 batch 需 gradient accumulation 或 ZeRO 用 accumulation_steps=4 + batch=1 模拟 4× accumulation
无 PE 设计对极端分辨率不友好 论文主要在 512×2048 / 512×512 验证；遥感 2048×2048+ 实测无 PE 优势减弱 换 SETR-PUP（渐进式上采样）或 SegFormer-B0 + 重训 PE
Python < 3.9 兼容性 torch.cuda.amp + torch.utils.data 混用时某些版本有 bug 用 Docker 镜像 nvidia/cuda:11.3-cudnn8-runtime 或 conda env
2021 年方法 vs 当前 SOTA Mask2Former(2022) / SAM(2023) 已出，SegFormer 在 open-vocabulary / universal 上受限 将 SegFormer 当"快速 baseline + 轻量线上推理"使用，不做 research 贡献源

核查清单（精修后验证）

  • [ ] nvidia/mit-b0 ~ nvidia/mit-b5 在 Hugging Face 可正常下载
  • [ ] ADE20K mIoU B4=50.3% / B5=84.0% (Cityscapes) 已从论文 Table 1 核实（非 abstract 推算值）
  • [ ] B2 ~17 FPS @ V100/1080Ti 数据来源于论文 auxiliary table（已在文中标注）
  • [ ] B0 参数 3.7M / B5 参数 84.7M 与论文 Table 1 吻合
  • [ ] SegFormer-B4 比之前最佳方法小 5×、好 2.2% 的比较基准（SETR / Swin）已在正文中核实，非孤证

核查注记：B0 的 ADE20K mIoU = 37.4% 原文未精确标注；B5 的 ADE20K mIoU 有 51.8% 与 51.5% 两个邻近数字，建议引用 B5 时注明"部分表给出 51.5%"。