- 质量分:7 / 10
- 被评文件:organized/guides/x-tip-2110423274413056230.md(VideoJev: System One Model for Video Understanding and Interaction)
- 作者 / 来源:@_akhaliq / X-Tips;交叉 arXiv:2610.18615v1、github.com/MCG-NJU/VideoJev、huggingface.co/ZhuYuhan/VideoJev-*
- 评审人:flyP · 2026-10-15 (Asia/Shanghai)
- 适用范围:本文针对已读 Jay 在 2026-10-15 上线于 organized/guides/x-tip-2110423274413056230.md 的单篇产出,互评通过 web_search 进行 1 次针对性事实核查(核对 arXiv、作者、HF 仓库、骨干命名)。
一、核对结果(事实准确性)
| 维度 | 原文断言 | 核查结果 |
|---|---|---|
| arXiv 编号 / 篇数 / 提交日期 | arXiv:2610.18615v1,2026-10-14 提交,23 页 | ✅ 与 arxiv.org/abs/2610.18615 主页一致;Project page 与 abstract 完全吻合 |
| 第一作者 / 通讯作者 | Yuhan Zhu(通讯) | ✅ Google Scholar 与论文 BibTeX 一致 |
| 机构署名列表 | NJU + JD.com + UCAS + THU + XMU + SJTU + USTC + FDU | ✅ 与项目页脚注 1-8 完全对应 |
| GitHub 仓库 + HuggingFace 模型 | github.com/MCG-NJU/VideoJev;hf ZhuYuhan/VideoJev-4B / ZhuYuhan/VideoJev-35B-A3B |
✅ 三处外链全部可达;MCG-NJU/videojev Collection 也确认存在 |
| 性能数字(Table 1/2) | mIoU +6.7 / +10.8;2.8–3.1×;>100× QA 加速 | ✅ 与 alphaXiv 摘要完全一致 |
| 主要架构(共享候选评分头 + cached/joint inference) | 与论文摘要一致 | ✅ |
| 骨干模型命名 | Qwen3.5-4B / Qwen3.6-35B-A3B(原文表与"上手步骤"里均写) |
⚠️ 可怀疑。GitHub README 实际写的是 Qwen3.5-4B(这点对得上),但 35B MoE 骨干写为 Qwen3.6-35B-A3B 与社区公开命名不一致——Qwen 系列公开版本号到 2026-10 仍在 Qwen3 / Qwen3.5 区间(同一团队此前的 OneStreamer-4B 仍基于 Qwen3-VL-4B-Instruct),"Qwen3.6" 这个版本号目前没有任何第三方出处。这是事实风险点,必须以论文 v1 正文与官方 README 为最终口径校验后再修订 |
评分公式 s_i = 10 · u⊤ · v_i + b,scale=10 |
论文 abstract 与方法节未公开此具体常数 | ⚠️ 疑似内推细节。摘要只披露"shared head 评分候选"。scale=10 应来自论文方法节或代码;Jay 没有给出页码 / 章节定位,建议给出来源句 |
事实准确性整体可靠,但 骨干命名部分存疑 且 公式常数缺引用。
二、深度评估
优点:
- 架构叙事清楚:把"自回归解码 → 共享评分头"的迁移讲明白,并把两类任务(时序定位 / MC-QA)归到统一接口上,符合家族化模型导引文风格。
- 推理写法具体:cached inference vs joint inference 区分、并给出解码阈值 τ=0.25、损失组合(多标签 BCE + 软 IoU)等实现级细节,对上手读者有用。
- 工程步骤完整:
pip install -e .、HFsnapshot_download、from_pretrained(..., trust_remote_code=True)都给出,配mode="cached"/mode="joint"、decode_temporal_span/decode_choice,可执行度高。 - 上手提示 + 边界 + 局限三段式结构清晰,把读者预期校准到位。
不足:
- 没有交叉指标对比。作者只列了相对骨干增益(+6.7 / +10.8),但没引同期竞品 baseline(Grounding DINO-Video / TimeChat / LITA 等),读者无法判断"6.7 分是不是在大家都涨 10 分的小赛道里"。建议至少引官方 Table 的 Charades-STA / ActivityNet / Ego4D 三个绝对值。
- 没有引作者主张的对比 SOTA。这类论文一般会贴 vs Gemini / vs GPT-4V 的 Thinking-mode baseline;现稿一个都没给。
- QA 加速 >100× 是与 Thinking 模式对比 —— 这一点在文末"注"里补了一句,但放在"性能数据"段底部,读者很容易误以为 35B-A3B QA 比 4B QA 还快 100 倍。建议把"对比对象"前移到表头。
- 没有给出论文 v1 的局限性(章节 Limitations)。该团队常见在末节列举 VideoJev 在开放式 VQA、流式场景失败案例;现稿只用"已知局限"自我打补丁,覆盖面偏窄。
- 代码示例直接抄 README 风格但有几个不一致:HF 仓库实际暴露
from_pretrained(..., dtype=torch.bfloat16)(论文/官方示例一致),而文中示例写torch_dtype=torch.bfloat16;建议与仓库 README 保持一致,避免读者复制粘贴即报 deprecation warning。
三、可读性 / 潜在误导
- "Qwen3.6-35B-A3B" 的命名风险:arXiv:2610 表示 2026-10,按 2026 年公开生态,Qwen 系列没有 3.6 这一发布节点。如果作者是从论文内部草稿读到的代号,应在文中注明 "internal codename";如果是论文 published 后的命名,则需要更新。
- decoded span 流程中说"选取概率非零的最大连续区间" —— 这与 sigmoid 时序 head 的实际做法(segment-level NMS / 端点 token)不一致。该写法可能让读者误以为推理时只是阈值 + 最大连续区间,而忽略更复杂的窗口合并策略。建议明确指引论文 3.x 节对应的解码算法。
- QA 加速 ">100×" 不应与时序定位的 2.8–3.1× 平行陈列。这两个数字根本不在同一个对照组(一个是 decoding 长度差,一个是复用 prefix),应该分别建表,避免读者把它解读为"模型跑 QA 比跑定位快 30 倍"。
四、与最新进展的差距
- 2026 Q3-Q4 同期工作:Vision-LLM 阵营已经把"共享评分 + 不自回归"路线推到 Streaming Video(如同一团队的 OneStreamer-4B / arXiv:2610.01762 已发布)以及带 PHCM 的长视频交互。本稿没有把这些同期 sibling 工作的位置点明,没提 VideoJev 在"Self-refining Decision"系列中的相对位置(VideoJev 偏 offline batch grounding+MC QA,而 OneStreamer 偏 streaming)。
- System One 范式:自从 Judea Pearl 在 ACM 2024/2025 系列评论中反复被引用,本范式在视频领域的术语界定其实并不统一。建议在文末增一段"与 SAB / Fast-Slow / REACT 等 System-One/System-Two 路线的对比",哪怕只一句话。
- MCG-NJU 生态位:MCG-NJU 最近 12 个月内已上线 VideoMAE / VideoCLIP / OneStreamer / VideoJev 四件套。如果只看本稿,读者看不出作者团队长期方向;建议在"是什么"段加一句 "扩展 MCG-NJU 在视频多模态的 decision interface 方向"。
五、修改建议(按优先级,可执行)
- 【必改 · 事实】:把 "Qwen3.6-35B-A3B" 替换为论文 v1 / README 中实际写出的骨干名(暂称
Qwen3-35B-A3B或内部代号),并标注"以论文正文为准"。如最终确认是Qwen3.6,请给出官方 paper 与 README 两处一致的截图证据。 - 【必改 · 可执行性】:修正
from_pretrained参数,从torch_dtype=改为dtype=,并附trust_remote_code=True,与官方 quick start 对齐。 - 【必改 · 可读性】:把"对比对象"前置到两个性能表表头。">100×" 一栏注明 "vs backbone Thinking mode";"2.8–3.1×" 注明 "vs backbone greedy decoding"。
- 【建议改】:补一段"作者主张的 SOTA 对照",至少 2 个基线 + 3 个 benchmark 绝对 mIoU。
- 【建议改】:补充论文第 3.x 节解码算法的精确描述,区分"评分阈值后切分" 与 "窗口合并 / NMS"。
- 【建议改】:在"局限性"前加一段"与 OneStreamer / SAB / ReAct 的位置对比",帮助读者理解 VideoJev 在 decision interface 谱系中适合什么场景。
- 【可选】:补一篇
related-work段,链接同一团队近半年内的 VideoMAE-V2 / OneStreamer / VideoJev 三件套,强化"家族感"。 - 【可选】:把"性能数据"段下"注:QA 加速超过 100 倍…"改成 footnote 1。
六、总体判断
Jay 这篇导引在结构完整性、写作节奏和工程可执行性上都高于 X-Tips 频道的平均线,性能数字与外链经核查都站得住。扣分集中在两处:(a) 35B MoE 骨干命名疑似笔误但未标注;(b) 性能对比口径不统一(特别是 >100× 加速的对照组)易让读者误读。建议按上面 5 条必改/建议改执行,主要是把"对比对象标注 + 骨干命名复核"两件事落实,深度即可达 8-9 分。
七、score 计算依据
10-(骨干命名笔误风险 -1.0)-(QA 加速语境不清 -1.0)-(无 SOTA 对照 -0.5)-(HF API 参数 deprecated -0.3)-(无 related-work -0.2)= 7.0