Looking Ahead：让自回归视频模型学会"往前看"（FCP 未来分块预测）· 干货攻略

  • 链接: https://x.com/_akhaliq/status/2113280305301971067
  • 分类: x-tips
  • 来源: X @_akhaliq
  • 作者: Jay
  • 更新: 2026-10-24
  • 仓库: TencentARC/Looking-Ahead（https://github.com/TencentARC/Looking-Ahead）

原帖正文只有一句"Looking Ahead / Modeling Future Evolution in Autoregressive Video Generation"加一个论文链接（https://t.co/DRdK9bigNZ ，指向 https://huggingface.co/papers/2610.29989 ）。原帖本身不含任何方法细节，以下内容全部来自官方论文、官方项目页、官方仓库与官方权重仓库，未从原帖嫁接数字。

这是什么

Looking Ahead 是南京大学 + 腾讯 ARC Lab + 浙江大学团队 2026 年 10 月发布的工作，论文 arXiv:2610.29989（cs.CV），核心方法是 FCP（Future Chunk Prediction，未来分块预测）。

它要解决的是自回归视频生成里一个很具体的问题：模型逐 chunk 生成视频时，"能接得上"不等于"懂演化"。视频相邻 chunk 之间视觉冗余极强，在 teacher forcing 训练下，模型可以直接拿 ground-truth 历史里的局部连续性当捷径去噪当前 chunk，根本不需要理解场景是怎么演化的——于是物理一致性就差。

FCP 的做法很直接：加若干并行的未来预测分支，让同一个中间特征 h_t 同时去预测 t+1、t+2、t+3…… 的 latent，但不给它中间的 ground-truth 上下文。目标离观测历史越远，局部连续性越帮不上忙，模型就被迫去建模时序演化本身。

关键工程性质：FCP 只是训练期的辅助目标，推理时相关模块全部移除，自回归 rollout 结构和 teacher forcing 基线完全一致，推理零额外开销；而且不需要额外的预训练视觉编码器（直接从训练视频像素/潜变量取监督）。

核验来源

  1. arXiv 摘要页 https://arxiv.org/abs/2610.29989 —— 标题、作者、cs.CV 分类、提交信息、摘要原文（含 "requires no additional pretrained visual encoder and leaves autoregressive inference unchanged"）。
  2. arXiv 全文 HTML https://arxiv.org/html/2610.29989v1 —— Table 1/2/3/4 的具体数字、消融（并行 vs 链式预测、是否给未来预测器喂文本、干净 vs 噪声表征双路监督）、训练效率段落。
  3. 官方项目页 https://hellorpg.github.io/looking-ahead/ —— 方法示意图描述、受控对比表格、训练效率图（57.9% / 63.4% 的出处）。
  4. 官方代码仓库 https://github.com/TencentARC/Looking-Ahead —— README（环境、权重下载、推理/训练命令）、docs/inference.md（参数语义、V2V 前缀选择规则）、configs/fcp_*.yaml（FCP 超参）。
  5. 官方权重仓库 https://huggingface.co/TencentARC/Looking-Ahead 与 官方数据集 https://huggingface.co/datasets/TencentARC/Looking-Ahead —— 四个 EMA 权重文件、demo 潜变量数据。

未核验/不明确处：官方项目页没有给 57.9% / 63.4% 的完整推导公式（只标注"At IQ 26.978, relative to the TF fit"），数字来自该页图表与文案，本攻略如实转述并注明出处；论文正文另有一组"相比 full-context 变体少 42.6% / 50.7% 算力（对应 IQ 29 / 30）"的对照，两组数字口径不同，不要混用。

官方数字（全部来自官方出处）

受控对比（论文 Table 2，同数据同设置，Wan2.2-TI2V-5B，Physics-IQ Verified）

训练方式 I2V IQ SP ST WS V2V IQ SP ST WS
Teacher Forcing 30.4 34.8 32.8 24.0 40.6 48.5 40.8 37.8
+ FCP（5 offsets） 33.8 36.8 41.1 25.2 44.4 51.1 47.2 40.7

即 I2V +11.2%、V2V +9.4%（项目页口径）。1.3B 模型上 IQ 从 27.6 提升到 30.9。

其他基准（Table 3，5B）：WorldModelBench 总分 7.22 → 7.64；PAI-Bench-G Domain Score 81.13 → 82.38；PhyGround Physics 2.75 → 2.80。评测用 5 秒 / 24 FPS 视频，seed 42–45 取均值。

训练效率（项目页图表）：在 IQ 26.978 处，相对 teacher forcing 拟合曲线，FCP 少 57.9% 算力、少 63.4% 数据量。

消融要点：并行预测优于链式预测（1.3B 上 IQ 30.1 → 30.9）；给未来预测器加文本条件反而掉 1.1 分（文本会泄漏未来信息）；干净上下文 + 噪声目标双路监督分别贡献 +1.2 / +2.3，组合 +3.3。

上手步骤

1. 环境

官方只验证过 Linux + NVIDIA H200、Python 3.12.3、PyTorch 2.10.0+cu128（CUDA 12.8），其他环境未测试。推荐 uv：

sudo apt-get update && sudo apt-get install -y ffmpeg
UV_CACHE_DIR=.uv-cache uv sync --python 3.12
source .venv/bin/activate

conda + pip 安装方式在 README 里仍是 TODO，别按网上旧教程走。

2. 下载基座与权重

hf download Wan-AI/Wan2.1-T2V-1.3B --local-dir weights/Wan-AI/Wan2.1-T2V-1.3B   # 1.3B
hf download Wan-AI/Wan2.2-TI2V-5B  --local-dir weights/Wan-AI/Wan2.2-TI2V-5B    # 5B
hf download TencentARC/Looking-Ahead --local-dir weights/Looking-Ahead

四个最终权重（TF/FCP × 1.3B/5B，均为 model_ema.pt）合计约 63.2 GiB，落在 weights/Looking-Ahead/<config>/model_ema.pt。

3. 推理

# 5B，V2V 续写（用仓库自带 milk_pouring.mp4）
python inference.py \
  --config fcp_wan22_ti2v_5b \
  --checkpoint_path weights/Looking-Ahead/fcp_wan22_ti2v_5b/model_ema.pt \
  --use_ema \
  --video_path examples/inference/v2v/milk_pouring.mp4 \
  --prompt_file examples/inference/v2v/milk_pouring.txt \
  --duration 5s --seed 42 --sink 3 \
  --output_path outputs/v2v/fcp_milk_pouring

# 1.3B，图生视频
python inference.py \
  --config fcp_wan21_t2v_1.3b \
  --checkpoint_path weights/Looking-Ahead/fcp_wan21_t2v_1.3b/model_ema.pt \
  --use_ema \
  --image_path examples/inference/i2v/sailboat_lake.png \
  --prompt_file examples/inference/i2v/sailboat_lake.txt \
  --duration 5s --seed 42 \
  --output_path outputs/example_inference

关键参数（来自 docs/inference.md）：--duration 是含上下文在内的总时长；--sink 默认 3 个 latent 帧作 attention sink；--v2v_context_latents K 手动指定前缀长度，显式 K 取视频开头片段，而自动模式取结尾片段；VAE 时间步长 4、常规 chunk 3 个 latent 帧、首帧独立，故合法 K = 1 + 3M（M≥1），即 4, 7, 10…（对应 13, 25, 37… 像素帧）。5B/24FPS 自动模式 K=7（25 帧上下文），1.3B/16FPS 为 K=4（13 帧）。采样默认 sampling_steps=50、sample_solver=unipc、guidance_scale=3.0、timestep_shift=5.0，可用 key=value 覆盖。输入图/视频会按比例缩放后中心裁剪，边缘内容可能被裁掉。

4. 训练

hf download TencentARC/Looking-Ahead --repo-type dataset --local-dir release_assets/dataset_demo
bash run.sh train fcp_wan21_t2v_1.3b                       # 用全部可见 GPU，开 W&B
CUDA_VISIBLE_DEVICES=0,1,2,3 bash run.sh train fcp_wan21_t2v_1.3b
bash run.sh train fcp_wan21_t2v_1.3b --disable_wandb

配置名可换成 tf_wan21_t2v_1.3b / fcp_wan22_ti2v_5b / tf_wan22_ti2v_5b（对应 configs/ 下 YAML）。FCP 关键超参（configs/fcp_wan22_ti2v_5b.yaml）：future_prediction.enabled=true、future_offsets=[1,2,3,4,5]、每个 offset 权重 0.5、source_layers=[2,11,20,29]、source_layer_fusion.mode=mlp（hidden_ratio 2.0，GELU）、mini_dit_depth=3、init_mode=copy（从主干第 27–29 层拷贝初始化）、aux_future_timestep_range=[0,1000]。5B 默认 max_iters=25000、batch_size=1、ema_weight=0.9995。

适用边界与坑

  • 这是训练方法，不是推理加速技巧。 想要更强物理一致性得自己训（或用官方权重）；推理侧没有任何 trick 可抄。
  • demo 数据集只是 loader 格式示例：100 个 WISA 视频身份 × 2 个 Wan family = 200 条 latent 记录，官方明确写明"不是完整历史训练语料，也不是评测基准"，不包含源视频。它只是帮你把 pipeline 跑通。
  • 两种 VAE 潜变量不能互换：1.3B 用 Wan2.1 编码，5B 用 Wan2.2 编码，靠 reshape 不能互换，磁盘布局 [C,T,H,W] 与 loader 布局 [T,C,H,W] 也不一样。
  • 显存与成本：5B 训练需要 H200 级显存 + 多卡；1.3B 是更现实的复现起点。
  • 评测口径：Physics-IQ Verified 官方自带评测代码，但 5 秒 / 24 FPS / seed 42–45 的具体设置换了你自己的数据就得重测，不要拿论文数字当你新实验的预期。
  • 许可证：仓库与权重均为 Apache-2.0（Tencent 版权声明），注意附带 NOTICE 要求。
  • 跨模型横向比较不可归因：论文自己也提醒，Table 1 里不同模型的数据与设置不同，跨模型差距不能直接归因于方法优劣，真正的对照是 Table 2 / Table 4。
  • 项目仍在滚动更新：仓库 README 的 "Upcoming" 还挂着 conda 安装说明待补、更多尺寸与变体待发，文档本身也在改。

一句话结论

在 teacher forcing 之外加几条"看不到中间帧"的并行未来预测分支，训练开销不涨、推理开销为零，却能把 5B 模型在 Physics-IQ 上的 I2V 提 30.4 → 33.8、V2V 提 40.6 → 44.4。 如果你在做长视频续写、世界模型或物理一致性要求高的生成，这个思路值得直接抄进自己的训练管线。