link: https://x.com/_akhaliq/status/2110423274413056230 category: x-tips source: X @_akhaliq author: Jay update: 2026-10-15 repo: https://github.com/MCG-NJU/VideoJev
VideoJev：统一视频理解与交互的 System One 模型
分类：X-Tips · 多模态大模型 · 视频理解 原文：https://x.com/_akhaliq/status/2110423274413056230 作者：@_akhaliq（AI 论文速递账号） 主仓库：https://github.com/MCG-NJU/VideoJev 论文：arXiv:2610.18615 [cs.CV] 模型： - VideoJev-4B（HuggingFace：ZhuYuhan/VideoJev-4B） - VideoJev-35B-A3B（HuggingFace：ZhuYuhan/VideoJev-35B-A3B） 项目页：https://mcg-nju.github.io/VideoJev
核验来源
| 项目 | 内容 |
|---|---|
| X 原帖 | VideoJev System One Model for Video Understanding and Interaction，附 paper 链接 |
| 论文出处 | arXiv:2610.18615v1，2026-10-14 提交，23 页 |
| 作者团队 | Yuhan Zhu（通讯）、Xiangyu Zeng 等；隶属 NJU、JD.com、UCAS、THU、XMU、SJTU、USTC、FDU |
| 代码仓库 | github.com/MCG-NJU/VideoJev（已上线，含训练/评测代码和模型权重） |
| 二次确认 | HuggingFace Papers 页面同步收录；GitHub 页面明确列出模型链接 |
这是什么
VideoJev 是一个将视频理解与交互统一建模为结构化决策任务（Structured Decision Tasks）的多模态模型族，遵循 "System One" 范式——直接输出可被软件解析的 typed probabilistic judgments，而非逐 token 自回归生成答案。
核心思路：用共享候选评分头（Shared Candidate Scorer）替代 MLLM 的自回归解码器，同一接口同时支持两类任务：
- 时序定位（Temporal Grounding）：对视频中的候选时间区间打分，输出事件起止时刻；
- 多选视频问答（Multiple-Choice Video QA）：对答案选项打分，直接选出最优答案。
团队在论文中共发布两个规模的模型checkpoint：
| 模型 | 骨干 | 性质 |
|---|---|---|
| VideoJev-4B | Qwen3.5-4B | 密集模型（Dense） |
| VideoJev-35B-A3B | Qwen3.6-35B-A3B | MoE（激活 3B 参数） |
技术要点
1. 统一评分架构
VideoJev 将视频 token、查询文本、候选列表（时间戳或答案选项）按顺序输入因果语言 backbone，末尾附 <|option_end|> 和 <|decide|> 两个特殊 token。评分公式为：
s_i = 10 · u^⊤ · v_i + b
其中 u 是 decision readout 的归一化投影状态，v_i 是第 i 个候选的归一化投影状态。固定 scale=10，加可学偏置 b，输出 sigmoid（时序）或 softmax（多选）概率。
2. 两类推理模式
- Cached Inference：视频编码和 prefill 一次性完成，每个新查询只需一次 LLM forward，复用视频前缀；
- Joint Inference：多个查询共享同一视频前缀，一次 causal forward 获得所有 query 的评分。
两种模式共享同一个 backbone + scorer architecture。
3. 时序定位的监督与解码
训练使用多标签二元交叉熵（BCE）监督各区间的事件成员概率，加上软 IoU 损失惩罚漏检和误检。解码时设阈值 τ=0.25，选取概率非零的最大连续区间作为输出 span。
性能数据（官方论文 Table 1/2）
以下数据均来自 arXiv:2610.18615 原文 Table 1 和 Table 2。
时序定位（三基准平均）
| 模型 | 相对骨干 mIoU 提升 | 推理加速 |
|---|---|---|
| VideoJev-4B | +6.7 pts | 2.8–3.1× |
| VideoJev-35B-A3B | +10.8 pts | 2.8–3.1× |
多选视频问答（四基准）
| 模型 | 相对骨干 QA 分数提升 | 推理加速 |
|---|---|---|
| VideoJev-4B | +8.0 pts | >100× |
| VideoJev-35B-A3B | +5.7 pts | >100× |
注：QA 加速超过 100 倍是与 Thinking 模式下的 Qwen3.5-4B / Qwen3.6-35B 对比。
上手步骤
1. 安装依赖
git clone https://github.com/MCG-NJU/VideoJev
cd VideoJev
pip install -e .
2. 下载模型
# VideoJev-4B
from huggingface_hub import snapshot_download
snapshot_download(repo_id="ZhuYuhan/VideoJev-4B", local_dir="./VideoJev-4B")
# VideoJev-35B-A3B
snapshot_download(repo_id="ZhuYuhan/VideoJev-35B-A3B", local_dir="./VideoJev-35B-A3B")
3. 推理示例（时序定位）
from videojev import VideoJevModel
import torch
model = VideoJevModel.from_pretrained("ZhuYuhan/VideoJev-4B", torch_dtype=torch.bfloat16)
model.eval()
# 输入：视频路径 + 时间区间候选
# Cached inference：视频只需编码一次
with torch.no_grad():
outputs = model(
video="path/to/video.mp4",
query="When does the person add the ingredient?",
candidates=["[0.0, 3.2]", "[3.2, 6.5]", "[6.5, 10.1]", ...],
mode="cached", # 或 "joint" 处理多查询
)
span = model.decode_temporal_span(outputs) # 输出 [start, end]
4. 推理示例（多选问答）
with torch.no_grad():
outputs = model(
video="path/to/video.mp4",
query="What does the person add first?",
candidates=["A. Pasta.", "B. Sauce.", "C. Oil.", "D. Vegetables."],
mode="joint", # 一次 forward 评所有选项
)
answer = model.decode_choice(outputs) # 输出 "A. Pasta."
5. 评测
# 评测时序定位基准（Charades 等）
python eval_grounding.py --model VideoJev-4B --benchmark charades
# 评测视频 QA 基准（LVBench 等）
python eval_qa.py --model VideoJev-35B-A3B --benchmark lvbench
适用边界
| 维度 | 适用 | 不适用 |
|---|---|---|
| 任务类型 | 时序定位、多选视频 QA | 开放式视频问答（需生成文本的 VQA） |
| 视频长度 | 中短视频（Charades 平均 ~30 秒；LVBench 含长视频） | 超长未切片视频（需额外时序分片策略） |
| 骨干模型 | Qwen3.5-4B / Qwen3.6-35B 系列 | 其他 MLLM 骨干（需重新训练 scorer） |
| 部署环境 | 有 GPU 推理环境；Cached/Joint 模式显著节省算力 | 纯 CPU 端侧（4B 模型 bf16 约 8GB+ 显存） |
| 交互模式 | 多查询共享视觉上下文的视觉 agent | 单次独立查询（此时优势不明显） |
已知局限
- 论文全文（方法细节、实验配置、消融分析）需阅读 arXiv:2610.18615v1；
- 当前 X 原帖仅含标题 + 链接，核心数据来自论文摘要和 GitHub 项目页；
- 评测基准的具体指标数值（Charades mIoU 绝对值等）需进一步读取论文 Table；
- 模型对超长视频（>10 分钟）的 Scaling 效果未在当前论文中报告；
- 开源仓库刚上线，生产部署前建议参考 GitHub Issues 中的已知问题。
数据来源：X 原帖（https://x.com/_akhaliq/status/2110423274413056230）、arXiv:2610.18615 项目页面、github.com/MCG-NJU/VideoJev