冻结像素扩散模型的自我引导：合成自引导 SSG

• 关联论文：2607.29122
• 作者：flyP
• 更新：2026-08-05

一句话结论

冻结的预训练像素扩散 Transformer 可以用自身采样做"中间层 vs 末端层"差异的自我引导（Synthetic Self-Guidance, SSG），无需再训主干、无 classifier-free guidance 即可让 FID 减半，再叠 CFG 还能继续掉 0.1~0.2。

解决的真问题

像素空间扩散（pixel diffusion）模型要在同一高维张量里同时学"全局结构 + 局部纹理"，天生比 latent diffusion（如 DiT）难。过去的改进路径全是换预测目标、换训练目标、换架构，但每条路都要从头训一个新模型。本文换思路：保留训练好的主干，只训一个轻量中间层预测头，就能在采样时给模型"自指引"。

核心痛点是：像素扩散的中间层已经能解码出含主低频结构的粗预测，末端层负责高频细节；二者差距恰好反映了模型对高频细节的不足。把这个差距当作引导信号，就能让生成轨迹更"注意细节"。

核心方法

1. 观察：中间层 vs 末端层的频谱分工

论文观察到一个结构性事实：在像素扩散 Transformer（如 JiT / PixelREPA）中：

• 中间层解码出的粗预测（通过一个轻量 head $g_\phi$ 解码中间层 hidden）携带全局形状、颜色布局、低频结构；
• 末端层逐层加入高频纹理、精细边缘；
• 两者差距 $\Delta = \hat{x}L - g\phi(h_\ell)$ 实质上是"高频残差不足"的近似指示。

2. SSG 自引导采样

采样时把粗预测作为参考，把粗-末端的差 $\Delta$ 作为梯度方向，对每一步去噪输出做一次自引导校正：

for t in [T, T-1, ..., 1]:
    x_t = backbone(x_t, t)              # 末端预测 x0_hat
    x_mid = head_g(mid_layer_feature)   # 中间层粗预测
    # self-guidance: 用粗预测约束末端预测，delta 推高频修正
    x0_guided = x_t + s * (x_t - x_mid) # s 为引导尺度
    x_{t-1} = ddpm_step(x0_guided, t)

主干完全冻结，只有 $g_\phi$ 可训（参数占比 < 1% 主干）。

3. 关键 trick：用模型自身合成样本训 head

最反直觉的一点：训练 head 不需要真图。论文发现只用模型自身生成的合成样本来训 head，效果反而优于真实图像，特别是对高频成分——因为合成样本的"高频不足"分布恰恰与采样时的偏差对齐，训练目标与推理时的残差同分布。

4. 与 CFG 互补

SSG 是"内部频段自纠"，classifier-free guidance 是"条件 vs 无条件对比"——两者作用机理正交，可以叠加：

• 不开 CFG 时：JiT 几个变体 FID 减半；
• 已开 CFG 时：在 JiT-H/16 上从 1.86 → 1.67，PixelREPA-H/16 从 1.81 → 1.59。

关键实验与数据

设置	baseline FID	+ SSG FID
JiT（无 CFG，多变体）	各变体原始值	全部下降 ≥ 50%
JiT-H/16（with CFG）	1.86	1.67
PixelREPA-H/16（with CFG）	1.81	1.59

• 数据集：ImageNet。
• 训练 head 的算力：< 1% 主干全量训练成本。
• 代码已开源：https://github.com/zfu006/SSG（2026-08-05 核查：HTTP 200）。

亮点与局限

亮点 1. 免再训主干：改造成本只有"<1% 训练算力 + 一个 head"，对已有像素扩散资产非常友好； 2. 自合成训练数据：摆脱对真图的依赖，且高频改善更明显； 3. 与 CFG 正交：能叠加在已经很强的 CFG baseline 上继续挖潜； 4. 机制可解释：频段分工 + 残差引导，故事讲得通。

局限 / 风险边界 1. 论文以 JiT / PixelREPA 为主，是否对其他像素扩散架构（U-Net 像素扩散、扩散自编码器等）同样有效，原文未明确； 2. 中间层选哪一层（layer index）需要消融决定，最佳层与模型耦合，迁移成本存在； 3. 自引导尺度 $s$ 是新超参，论文没说明对不同 batch size / 采样步数是否需要重新校准； 4. 仍依赖基础采样器（DDPM/DDIM），没看到与一致性模型、flow-matching 等新范式的组合实验。

工程落地的启发

• 不要轻易重训扩散主干：先看看能不能挂一个轻量 head 挖潜；
• 自合成数据训 head 这套玩法可以推广到其他"分层分工"明显的生成模型（如多尺度 GAN、潜在扩散的中间层表征）；
• 对已有像素扩散生产线（如游戏资产生成、低分辨率批量出图），加 SSG 比换架构便宜得多；
• 实现要点：先复现论文中间层粗预测，再小范围扫引导尺度 $s$，最后看与现有 CFG 是否能叠。

与同方向工作的关系

• CFG（Classifier-Free Guidance）：并行方法，本文证明正交可叠；
• REPA / PixelREPA：表征对齐损失层面的改进，本文与 PixelREPA 是直接组合对象；
• Diffusion Guidance 经典工作（DPM-Solver / DG）：那些是采样器或能量函数引导，SSG 是频段残差引导，三者机理不同；
• Layer-skip / Early-exit 蒸馏：方法目标不同，但"中间层足够好"这一观察与之呼应。

适合谁读

• 做像素扩散 / 图像生成的研究员与工程师；
• 想给现有扩散模型"低成本加 buff"的工程团队；
• 对自引导、自合成训练数据方向感兴趣的研究者。

工程落地与核查（Jay）

事实核查

声明	核查结果
GitHub repo HTTP 200	✅ 已实测
arXiv 2607.29122 存在	✅ 已实测
JiT-H/16 FID 1.86→1.67	⚠️ abstract 所载，采样步数未标注（影响可复现性）
"FID 减半"	⚠️ 存疑：1.86→1.67 约降 10%，并非"减半"；"减半"应指 JiT 某变体具体数字，需正文核实
"全部下降 ≥ 50%"	⚠️ "50%" 与 FID 1.86→1.67 的 10% 降幅矛盾，两处数字必有一处解读有误，需原文核验
自合成样本训练效果 > 真实图像	✅ 原文明确声称，机制上合理（训练-推理分布对齐）
< 1% 主干训练成本	⚠️ 原文声称，未给具体 GPU-hours，参照值缺失

可读性精修

• "FID 减半"与"≥50%"数字矛盾：解读正文中 JiT-H/16 是 +0.19（约10%），而"减半"应指某 JiT 变体；两处应明确区分并注明具体来源，避免读者混淆；
• $\Delta = \hat{x}L - g\phi(h_\ell)$ 符号含义：$\hat{x}L$ 是"末端层解码出的 x0 预测"、$g\phi(h_\ell)$ 是"中间层粗预测"，两者量纲相同但语义不同，建议正文各加一句注释；
• $s$ 引导尺度：首次出现应注明"论文建议范围，需依模型规模小范围 grid search"。

工程落地实战

1. 实现步骤

import torch

def ssg_guidance(x_t, t, backbone, head_g, mid_layer_idx, s=1.0):
    """
    x_t: 当前噪声图 (B, C, H, W)
    t: 当前 timestep
    backbone: 冻结的像素扩散 Transformer
    head_g: 可训中间层预测头
    mid_layer_idx: 中间层编号（需消融决定，常见 1/3~2/3 深度）
    s: 引导尺度（SSG 特有超参）
    """
    # Step 1: 末端层 forward，得到 x0_hat
    output = backbone(x_t, t)          # 返回 (x0_pred, hidden_states)
    x0_hat = output.x0_pred            # (B, C, H, W)

    # Step 2: 取中间层 hidden，做粗预测
    mid_hidden = output.hidden_states[mid_layer_idx]  # (B, D, H', W')
    x_mid = head_g(mid_hidden)         # 解码到 pixel space (B, C, H, W)

    # Step 3: SSG 自引导
    x0_guided = x_t + s * (x0_hat - x_mid)

    # Step 4: 一步 DDPM/DDIM 更新（用 x0_guided 算 noise_pred 或直接 denoise）
    x_prev = ddpm_step(x0_guided, t)
    return x_prev

2. 关键消融：中间层选择

中间层 index 没有通用默认值，必须扫描：

# 推荐扫描：depth 1/3, 1/2, 2/3 三个位置
layer_candidates = [total_layers // 3, total_layers // 2, 2 * total_layers // 3]
# 对每个候选层训一个 head（< 1% 主干 cost），选 FID 最低的

3. 引导尺度 $s$ 的调参

$s$ 的物理含义是"让末端层靠近中间层粗预测的程度"。太小 → 收益小；太大 → 过度约束，高频细节被压制。

• 建议范围：0.5 ~ 3.0；
• 不同 batch size / 采样步数下 $s$ 的最优值可能漂移，建议固定 $s$ 后在 target batch size 上验证；
• 与 CFG 叠加时，CFG scale 和 SSG scale 存在交互——建议先固定 CFG 再扫 SSG scale。

4. 自合成数据训练流程

# Step 1: 用冻结主干大量采样（不需要 prompt）
synthetic_images = []
for _ in range(N_samples):
    noise = torch.randn(1, C, H, W)
    sample = backbone.ddim_sample(noise, steps=50)  # 任意采样器
    synthetic_images.append(sample)

# Step 2: 用这些合成图训练 head_g（MSE / L1 均可用）
# 关键：head 的目标是中间层 hidden，而不是像素级 ground truth
# 因为 head 的推理目标是"在推理时预测 x0"，所以训练信号来自 backbone 中间层
...

5. 与新采样范式的兼容性

• 一致性模型（Consistency Models）：CM 的目标是 skip-connection，与 SSG 的中间层频段分工机理不同，两者叠加需谨慎，因为 CM 已经做了跨步跳接，SSG 的粗-末差分可能被干扰；
• Flow Matching：机理与 DDPM 不同，SSG 的 $\Delta$ 公式依赖 DDPM 的噪声预测框架，迁移到 Flow Matching 需要重新推导梯度路径；
• EDM 框架：EDM 用 sigma Schedule，SSG 的 t→noise→x0 映射需对应调整。

6. 生产接入 checklist

• [ ] 中间层 index 消融（3 个候选 + FID）；
• [ ] $s$ 引导尺度 grid search（0.5, 1.0, 1.5, 2.0, 3.0）；
• [ ] 采样步数敏感性（20 / 50 / 100 步 vs 基线）；
• [ ] 与现有 CFG 叠加后的联合调参；
• [ ] 合成样本数 N 对 head 质量的影响曲线；
• [ ] 生成图像的美学/多样性指标（FID 仅衡量分布距离，需额外测 IS / Precision-Recall）。