jay 自测日记录 · 2026-10-25
总分:40/50
知识盲区:①「并行 vs 链式」只复述「并行更好(30.1→30.9)」,说不清为何并行分支互不依赖、链式为何传播误差;②双路监督(干净上下文 +1.2 / 噪声目标 +2.3 / 组合 +3.3)的「干净上下文」指哪一路输入、「噪声目标」对应哪种退化,讲不清各对应哪个 loss 项;③FCP 分支的监督信号来自 feature space 还是 VAE latent 空间,我记混了;④57.9% 算力 / 63.4% 数据量省在「IQ 26.978 处相对 teacher forcing 拟合曲线」,我记数字但记不住拟合曲线拟合什么量,因此无法论证它与 Table 2 的 +3.4 IQ 为何不矛盾;⑤喂文本条件掉 1.1 分,我只记住「文本泄漏未来信息」,记不住官方描述的具体泄漏机制;⑥--v2v_context_latents 显式 K 取开头、自动取结尾的反直觉规则记了结论,记不住理由。
- 来源论文:arXiv 2610.29989 — Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation(cs.CV, 2026-10)
- 被使用文件:
organized/guides/x-tip-2113280305301971067.md - 出题范围:仅本篇材料;历史上下文仅读
selftest/jay/index.md与entries/2026-10-24.md
题目一(问题定义 · TF 为何不够)
问:FCP 解决自回归视频生成的什么问题?teacher forcing 下「能接得上」为何不等于「懂演化」?
答:相邻 chunk 视觉冗余极强。teacher forcing 训练时当前 chunk 的去噪条件含 ground-truth 历史,模型可直接拿「上一 chunk 末尾与当前 chunk 开头本来就连续」这一局部连续性当捷径去噪,无需理解场景如何演化。物理规律是长程的,局部连续性蒙混不过去,故物理一致性差。FCP 加若干并行未来预测分支,同一中间特征 h_t 去预测 t+1…t+5 的 latent,不给中间 ground-truth 上下文:目标越远,捷径越失效,被迫建模演化本身。
评分:9/10 扣分:未写出「局部连续性只在短程有用、长程物理无法靠它蒙混」这层因果落点。
题目二(方法 · 结构与「不给中间 GT」)
问:FCP 分支怎么搭?为何「不给中间 GT」是核心而非细节?并行为何优于链式?
答:同一 h_t 经 source_layer_fusion.mode=mlp(hidden_ratio 2.0、GELU),由主干 27–29 层拷贝初始化(init_mode=copy)的 mini_dit_depth=3 小模块,按 future_offsets=[1,2,3,4,5]、每 offset 权重 0.5 并行预测 t+1…t+5 的 latent。核心是不给中间 GT:给了 t+1 真值,预测 t+2 又能靠真值续上,捷径回来。并行优于链式(1.3B IQ 30.1 → 30.9):链式拿上一分支的预测当条件,误差沿链传播且早期误差无法被纠正。
评分:8/10 扣分:并行优于链式只答「误差传播」,未指出并行各分支共享同一 h_t、互不依赖;「每 offset 0.5」我也没意识到是逐 offset 而非全局权重。
题目三(推理 · 零开销与参数坑)
问:为何 FCP 是训练方法而非推理技巧?推理移除什么、保证什么?哪些参数易踩坑?
答:FCP 只是训练期辅助目标,推理时未来预测分支全部移除,自回归 rollout 结构与 TF 基线一致,故推理零额外开销。坑点:①--duration 是含上下文的总时长;②--sink 默认 3 个 latent 帧作 attention sink;③--v2v_context_latents K 显式给 K 取视频开头,自动模式取结尾;VAE 时间步长 4、常规 chunk 3 latent 帧、首帧独立,故合法 K=1+3M(4,7,10…,对应 13/25/37 像素帧),5B/24FPS 自动 K=7(25 帧),1.3B/16FPS K=4(13 帧);④默认 sampling_steps=50、unipc、guidance_scale=3.0、timestep_shift=5.0;⑤输入按比例缩放后中心裁剪,边缘内容可能被裁掉。
评分:9/10 扣分:没解释显式 K 取开头、自动取结尾的理由(只记规则)。
题目四(数据口径 · 数字与不可混用)
问:+11.2% / +9.4% 在什么模型与基准上测得?57.9% / 63.4% 的口径是什么?能与「少 42.6% / 50.7% 算力」那组混用吗?
答:Table 2 为同数据同设置受控对比,模型 Wan2.2-TI2V-5B,基准 Physics-IQ Verified:I2V IQ 30.4 → 33.8(+11.2%)、V2V IQ 40.6 → 44.4(+9.4%);1.3B 上 27.6 → 30.9。57.9% / 63.4% 来自项目页图表:在 IQ 26.978 处,相对 TF 的拟合曲线,FCP 少 57.9% 算力、少 63.4% 数据量。两组口径不同不可混用——正文另有一组「相比 full-context 变体少 42.6% / 50.7% 算力(对应 IQ 29 / 30)」。Table 1 跨模型数字不可归因(数据与设置不同),真正对照是 Table 2 / Table 4。
评分:8/10 扣分:记不住「拟合曲线」拟合什么量,故只能声明它与 Table 2 数字不矛盾却给不出理由;未主动点明 42.6%/50.7% 是相对 full-context 变体、对应 IQ 29/30。
题目五(消融与落地 · 什么不能抄)
问:「并行优于链式」「喂文本掉 1.1 分」「干净+噪声双路 +1.2/+2.3/+3.3」分别说明什么?demo 数据集能当训练语料吗?能直接抄进自己管线吗?
答:并行优于链式说明分支应互不依赖、共享同一 h_t;喂文本掉 1.1 分说明文本会泄漏未来信息,等于开了更近的捷径,反而削弱演化建模(反向印证「不给中间 GT」);双路 +1.2 / +2.3 / 组合 +3.3 说明两路互补,不能只要一路。demo 不能当语料:只是 loader 格式示例,100 个 WISA 身份 × 2 个 Wan family = 200 条 latent,官方明写「不是完整历史训练语料,也不是评测基准」,且不含源视频。抄是可以抄进训练管线(推理零开销、不需额外预训练视觉编码器),但成本要算清:5B 需 H200 级显存 + 多卡,1.3B 才是现实起点;1.3B 用 Wan2.1 编码、5B 用 Wan2.2 编码,两种 VAE 潜变量不能互换(磁盘 [C,T,H,W] 与 loader [T,C,H,W] 也不同);conda+pip 安装 README 仍是 TODO,别按旧教程走;论文数字不能当自己实验的预期,换数据/设置就得重测。
评分:6/10 扣分:消融只复述数字与标签式解释(文本泄漏、两路互补),说不出双路各对应哪个 loss 项、「干净上下文」具体指哪路输入;也没给出「不给文本条件结构性更安全」的理由。
总评
总分:40/50(方法主干掌握较好:问题定义、FCP 结构与「不给中间 GT」的核心、训练期辅助目标⇒推理零开销、Table 2 口径与「两组算力数字不可混用」的纪律均答对;也能避开 demo 当语料、conda TODO、跨模型不可归因等坑。)
主要盲区(按优先级): 1. 消融机制停在标签层——数字记得住,因果讲不清。 2. 并行 vs 链式只想到误差传播,没到「共享 h_t、互不依赖」。 3. 监督信号所在空间(feature space vs latent space)易记混。 4. 「拟合曲线」拟合什么量记不住,无法论证与 Table 2 不矛盾。 5. 反直觉规则(显式 K 取开头 vs 自动取结尾)只记结论不记理由。 6. 数字口径纪律已能声明两组不可混用,但未核验出处(项目页无完整推导公式)仍只能标注来源、无法独立复算。
后续动作:下轮靶子压在论文消融小节原文(并行 vs 链式、文本条件、双路监督),逐条把「数字—机制」对上;并核清「拟合曲线」的被拟合量定义。