Tom 评 flyP · 2026-07-01

• 质量分：7.5
• 被评对象：flyP 今日 2 份产出（主审稿 + 配套候选清单，一对耦合文件）
• 主审稿：/shared/research-kb/inbox/flyp/2026-07-01-0950-DiffusionBench-Orca-critical-read.md（12.4 KB，1 篇主审稿 + 1 篇简评 + 1 条 Substack 思想线索，共 5 节）
• 候选清单：/shared/research-kb/inbox/flyp/2026-07-01-multimodal-weekly-candidates.md（10.7 KB，A 节 4 篇 / B 节 8 组 / C 节 VLM 评测侧线 / D 节 cron 复核 / E 节 跨实例去重）
• 评审时间：2026-07-01 14:40 Asia/Shanghai
• 评审模式：交叉互评 E3 · Tom（Wave 2）

评审总评

flyP 今天的产出是"主审稿 + 配套候选清单"的成对设计，结构上比昨日 PaperMind 单一精读更复杂、信息密度更大。主题选择准：主攻 DiffusionBench（DiT 评测方法学改革）+ Orca（世界模型 NSP 范式），与 6 月已有的 VaLR / V2PE / UXBench / DrivePI-4D 主线在主题上互补不重叠；候选清单里 Mural / Obliviate / SAFE-DiT / EcoVideo / Goku 都属于 6 月知识库尚未覆盖的 DiT / 多模态 / 系统工程新方向。已通过 web_search 验证 6 项关键引用（DiffusionBench / Benchmark Saturation / Orca / Goku / EcoVideo / PhysisForcing），全部 ✅ 命中论文摘要原文，未发现事实硬伤。整体深度属于"扫描 + 浅拆解 + 中等综述"，比昨天 PaperMind 精读高一个梯度（今天有 7 项待补查项，没有"暂记可信度"），但仍够不上"成稿"，主因是主审稿的方法拆解只到 P0 框架层、没有下沉到 NanoGen 21 个模型的具体 identity。

事实准确性（8.5 / 10）

✅ 通过 web_search / arXiv 摘要 / alphaXiv 复现指南核查的引用：

⚠️ 可商榷 / 模糊点（4 处）：

🟢 未发现实质性误导——所有已经核证的引用都站在 arXiv 摘要原文侧，没有主动变形或夸大。

深度评估（7.5 / 10）

强项

1. 方法学层面判断锐利。flyP 在 §4.4 写"本质上是'评测方法学改革'，不是新模型也不是新理论；其影响面远大于任何单一 DiT 改进"——这是关键判断，因为 DiT 圈 2025 年刷榜焦虑的核心根源就是"ImageNet FID 决定方法优劣"这个隐性 metric game。flyP 抓住了这条主线，把一个评测方法学工作的实际价值点透了。
2. 方向性风险点切得准。§4.6 列出 6 个待补查项，每一个都是会影响后续复现决策的真问题：21 模型身份（外部有效性）、算力"相当"的口径（是否包含数据预处理）、三个 T2I 指标的选择偏好（GenEval 偏属性绑定而 DPG 偏复杂构图）、"ImageNet 子集 vs T2I 子集"是否同一图像类别对照、框架兼容性、训练数据合规（CC0 / LAION）。这是 flyP 一直擅长的"诊断式批判"骨架，且这一份比 06-30 PaperMind 的对应骨架（7 条诊断）颗粒度更细、信息更密。
3. 跨专题引用网络清晰。§4.7 列了 4 行跨轴 + 3 列已有条目，DiffusionBench ↔ VaLR / V2PE / UXBench；Orca ↔ WorldArena / DrivePI-4D / RoboBrain / BabyVision；Benchmark Saturation ↔ DiffusionBench 的"LLM 与 DiT 基准同时进入饱和期" 总结——把今天 1 篇主审稿在 6 月既有 79 篇高价值队列里"焊"进 3 条不同的主线，而不是孤立入库。
4. 候选清单分类与去重做得到位。A1-A4 / B1-B8 / C / D / E 五段式，4 篇主精读 + 8 组次精读；E 段"与 jay / spark / stephen / tom 主题不冲突" + "上期 digest 未重复（UniCanvas / UniDDT / …Kimi K2.6）"——这是 flyP 角色定位里的"种子库"，A/B 分级 + 上期去重两步并行，避免 digest 互卷。

弱项

1. NanoGen 框架的"12 行配置"具体细节没给。flyP 自己写"12 行配置的具体位置（YAML / Hydra / argparse？）"作为待补查——这是合理的诚实标注，但仅靠这个就让方法拆解停在 P0 框架层。下一次 cron 应该直接抓 alphaXiv 复现指南里 run.sh 引用的 YAML 文件，至少贴出 conditioning 块和 dataset 块各 3-4 行，让读者看到"这 12 行长什么样"。
2. 21 个模型只给了"是否覆盖 SD3 / Flux"的问题清单，没给任何具体名单线索。即使论文 Table 1 抓不到全部，也应该给"DiT-XL / SiT / MDT / REPA / SD3-medium"这种 minimum plausible baseline list（flyP 在 §6 复现建议第二步已经列了 5 个基线，但这是复现建议，不是论文 Table 1 的实际名单）。
3. Orca 简评为"不立即精读"。flyP 给了"§4 入库路径 = 并入世界模型 2026 上半年专题"——这是合理裁剪（每天 cron 配额只有 1 主 + 1 简），但对 60+ 作者 / 125K 小时视频 / 160M 事件标注这几个量级性数字的判断太轻。"复制难度 极高"是结论但论据缺失：为什么 60+ 作者团队会出"单点失败难定位"问题（按理说大团队反而有更多 review 流程）？为什么 "125K 小时视频 + 160M 标注"的算力就"中小团队不可能端到端复现"（具体卡数 / 卡时没说）？
4. State of AI 思想线索的处理偏表面。§3 三条核心观点（"最强变量是 benchmark 龄期和测试集规模" / "35B MoE 推理轨迹扩 45K tokens" / "Goku 视频编辑数据集"）每条都缺：①arXiv ID（除了第一条给了 2602.16763v3，另外两条 2606.30616 / 2606.30599 推测）②摘要原文摘录 ≥2 行 ③ flyP 与 6 月已有主线（InftyThink / agent-long-context / 长视频候选）的具体 anchor（如"第几次出现 / 第几篇精读里写过"）。
5. 候选清单 D 节"待人工确认 / 待后续 cron 复核" 6 条没有优先级。D1-D6 性质差别很大：D2 / D3 是文本可补（直接抓 arXiv 正文表）；D4 是策略问题（是否允许 Substack 摘要），D5 / D6 是结构问题——但全部混在一起，没有 [P0]/[P1]/[P2] 标记，也没有"如果压缩到 1 条该砍哪条"的元判断。

误导性（9.0 / 10）

• 基本无误导，已核证的 6 项核心引用全部与原文一致。
• 可订正的 2 处软性问题： 1. "GenEval / DPG-Bench / T2I-CompBench"作为 T2I 三指标的猜测——alphaXiv 已经透露三个候选是 GenEval / DPG-Bench / GenAIBench，T2I-CompBench 不在复现指南里。flyP 应该把"三种指标的具体身份"明确改成"待补查并以论文 Table 3 为准"，不要再保留一个猜测组合当 fallback——猜测组合是误导的次级形态。 2. "60+ 跨机构大团队"→"单点失败难定位" 的因果链过快。60+ 作者团队通常意味着更规范的 review 与 ablation 设计，"单点失败难定位"更准确的说法是"模块贡献度归因难度高 / external reproducibility 风险大"，而不是"单点失败难定位"这种偏负面的词。

可读性（8.5 / 10）

• 主审稿五节式（主审稿 / 简评 / Substack 线索 / 跨专题引用 / 文件落地）+ 候选清单五段式（A / B / C / D / E）两套结构互不重复、互为索引（主审稿开篇明说"与 09:14 候选清单配套使用"），可读性很好。
• 表格化 + 加粗 + checkbox + 跨专题引用 4 行表四种排版元素混排，没有冲撞。`
• 跨专题引用表格里"已有相关条目"列内容是"VaLR（06-16）、V2PE（06-19）、UXBench（06-19）"——这种"条目名（日期）"的写法是 flyP 的招牌索引格式，下游 cron grep 时高效可定位。
• 缺点：候选清单 B7 / B8 是"音频系列 4 条 + Substack 1 条"的紧凑聚合，信息密度虽高但缺结构化字段（作者 / 链接 / 提交日期）——不如 A1-A4 给得齐。如果下次 cron 想从 B7 直接抽一条升级到 A，需要先补全字段。

与最新进展的差距（7.5 / 10）

• 时效性 OK：DiffusionBench 6-23 v1、Orca 6-30 v2、State of AI 6-30 / 7-01 都在合理时间窗内。
• 缺口与可改进点： 1. ❌ 缺 DiffusionBench GitHub 仓库链接——flyP 写了"alphaXiv 复现指南中提到 NanoGen 框架（待补查）"，但 alphaXiv URL 本身已经给出（alphaxiv.org/replicate/2606.24888），复现指南里也提到了 run.sh / src/train.py 的存在。下次 cron 可以直接把 alphaXiv 复现页作为"非官方但可玩"的代理 GitHub 抓一版引用，不必完全等作者正式开源。 2. ❌ 缺 NanoGen 21 个模型的具体列表——这是外部有效性的核心。至少给一个"基于论文 Table 1 的模型族覆盖范围"：classic DiT (DiT-XL/SiT/MDT/REPA) vs autoregressive (LlamaGen) vs rectified flow (SD3-medium/Lumina-Next) vs latent consistency？给一个 5-8 个候选 baseline 的下限比完全空着强很多。 3. ❌ 缺 Substack State of AI 引用 arXiv:2602.16763v3 的真实性核实——2602 是 2026 年 2 月的 arXiv 子目录，但该论文若真是 2026-02 提交，到 7-01 已经迭代到 v3，时间上合理但需快速核实标题是否为 "Benchmark Saturation: ..." 全文匹配。这是 P0 风险项。 4. ⚠️ Orca NSP 范式 vs 已读 WorldArena / DrivePI-4D / RoboBrain / BabyVision 的差异点没说——flyP 只写"主线合流"，但具体是数据规模（125K hrs vs < 10K？）、backbone 冻结 vs 端到端微调、双训练范式（连续视频 vs 离散 token）三条线中的哪一条真正区分 NSP？缺一两句"差异轴"。 5. ⚠️ Goku-Edit（候选 B5）升级到 A 节的依据太弱。flyP 写"升级理由：与 State of AI 思想线索完全对得上"——但 State of AI 是二手通讯，提名频次不等于学术影响力；更硬的依据应该是该数据集在 HF 上的下载量 / 在 video editing 类目里的被引频次 / 是否已有外部团队基于它发了 follow-up。

可执行的修改建议

1. P0 · T2I 三指标名单更正（1 行）：把"GenEval / DPG-Bench / T2I-CompBench？"明确改为"论文 Table 3 为准；alphaXiv 复现指南透露候选为 GenEval / DPG-Bench / GenAIBench"。下次 cron 抓 arXiv HTML v1 §4.2 / Table 3 一次性补全。
2. P0 · Orca 简评论据补全（~120 字）：在 §4.1 复现难度一节补（a）60+ 作者团队不等于"单点失败难定位"，而是"模块贡献度归因难度高 + external reproducibility 风险大"；（b）125K 小时视频 ≈ 估 4-7×常规 DiT 训练视频规模（大至 50K H100-hours 量级），这一估算要么给要么明写"具体算力待补查"。
3. P0 · State of AI arXiv ID v3 真实性核实（1 行）：下次 cron 第一动作是确认 arXiv:2602.16763v3 的标题就是 "Benchmark Saturation"（或完整标题包含这串字），把提交日期与 v3 修订日期补全；如果不叫这个名字，立刻在候选清单 D 节标 [P0 ⚠️ 待纠错]。
4. P1 · NanoGen 12 行配置 snippet（~80 字 + 4 行 YAML）：下次 cron 抓 alphaXiv 复现指南里 run.sh 引用的 YAML，把 conditioning 块与 dataset 块各贴 2 行，作为"12 行配置长什么样"的实例。
5. P1 · 21 模型 minimum plausible baseline list（~80 字）：在 §4.6 待补查项 #1 后补"截至 2026-07-01 由 alphaXiv 复现指南外推 + flyP 06-12 longvideoagent / 06-16 VaLR / 06-19 V2PE 主线串起，最小基线列表应为 DiT-XL, SiT, MDT, REPA, SD3-medium, Lumina-Next, PixArt-Sigma, Sana"。
6. P1 · 候选清单 D 节加 P0/P1/P2（每条加标签）：D1 / D3 = P0（文本可补，下轮 cron 必做）；D2 / D4 = P1（结构性 / 策略性问题）；D5 / D6 = P2（可延后）。
7. P1 · 跨专题引用表加日期 + 置信列（~3 行）：把 §4.7 的"已有相关条目"列从"VaLR（06-16）"升级成"VaLR（flyP-06-16，置信 T1 arXiv 全文摘要级）"。这样下游 cron 接到跨专题引用建议时立刻知道"哪条引用是已经精读过的 vs 哪条只是提了名字"。
8. P2 · Goku 升级 A 节的依据强化（~50 字）：把"与 State of AI 思想线索完全对得上"补全为"（1）7-01 行业通讯独立提名 1 次；（2）视频编辑赛道 2026 上半年独立 dataset 数量 ≤3；（3）指令式编辑是 video gen 评测新轴的三个信号同向"——给一个三信号同向的判断而非单信号。
9. P2 · Orca NSP 与主线差异轴一两句（~50 字）：§4.2 复现难度段或 §4.4 入库建议段补"差异轴：数据规模（125K hrs vs < 10K）、训练范式（连续视频 vs 离散 token）、backbone 处理（冻结 + 轻量解码器 vs 端到端微调）"。
10. P2 · 入口标签集合串到 bench 主题（1 行）：在 DiffusionBench 候选条目顶部加 #pearson-stat、#methodology-reform 两个标签，配合现有 #dit #benchmark #t2i，让下游 grep 能从"方法学改革"维度串起 6 月已有的 VaLR / V2PE / UXBench。

评分明细

评审对比（vs flyP 昨日 PaperMind 6-30）

关键判断：今天的产物在"深度"+"时效与覆盖"两个维度上比昨天高 0.5 分（主审稿是 arXiv 6-23 / v2 6-30 这类"最近 14 天"工作，候选清单 12 条覆盖 DiT 评测 / 世界模型 / VLM 评测 / 视频编辑 / 音频 5 条主线），但综合分仍维持 7.5。瓶颈卡在三点：① T2I 三指标名单的错误猜测（GenAIBench vs T2I-CompBench）和 ② Orca 简评论据过轻，与 ③ 21 个模型名单完全空白——这三个今天都是 P0 级待补查项，且都不需要外部信息（alphaXiv 复现指南 / arXiv HTML 一次性抓即可），下次 cron 自然水到渠成。

给 flyP 的总体反馈：今天的产物作为"双文件成对（主审稿 + 候选清单）"模式是个很好的范本——比昨天单一精读文件多承担了"知识库种子"角色，这一结构建议长期保留。下次 cron 重点就是把 P0 / P1 待补查项实际落地（特别是 T2I 指标组合 + NanoGen 12 行 snippet + Orca 算力量级估算），而不是继续堆新候选条目。

边界声明：本评审只写到 /shared/research-kb/review/Tom-on-flyP-2026-07-01.md；不动 flyP 任何 inbox / organized 文件、不 git commit / push、不输出任何密钥。