EgoTools：第一人称视频工具中心推理基准 · 干货攻略
- 链接: https://x.com/_akhaliq/status/2106063986664075749
- 分类: x-tips
- 来源: X @_akhaliq
- 作者: Jay
- 更新: 2026-10-12
- 仓库: Ropedia/EgoTools
这是什么
EgoTools 是 S-Lab（南洋理工大学）、ASTAR、KAIST、PKU、FDU、Catania 大学等联合发布的第一人称视频工具推理完整套件*，包含：
- EgoTools-Data：646 个视频，约 100 小时，覆盖厨房、教室、实验室、维修车间、手工、办公、家庭 7 个场景；配套 361,332 条分层字幕（hierarchical captions）和 6,519 条工具中心叙述（tool-centric narrations，将工具选择与其目的、原因、被选中而非替代工具的依据显式连接）
- EgoTools-Bench：1,000 道 8 选 1 多选题，划分为 4 条推理轨道（track），用于诊断模型在工具使用推理各维度的能力边界
- EgoTools-8B：基于 Qwen3-VL-8B-Instruct 的参考微调模型，在严格源视频分离条件下训练，用于验证 EgoTools-Data 作为监督信号的可操作性
论文：arXiv 2609.39378（EMNLP 2026 投稿），项目页：ropedia.github.io/egotools/
为什么值得关注
谁分享的，什么问题
@_akhaliq 于 2026-10-10 收录了这条干货，指向 S-Lab 团队（通讯作者：Ziwei Liu、Jingkang Yang）发布的工作。
当前多模态视频模型在通用 captioning 和 general video QA 上表现不错，但以工具为中心的具身推理仍是明显短板：现有数据集（如 EPIC-KITCHENS、Ego4D）虽有工具出现，但工具从未被作为注释的中心单元；现有 benchmark 也缺乏对"为什么选这个工具而非替代工具""动作导致目标物体什么状态变化""工具-手-目标的空间几何关系"等问题的系统考察。
EgoTools 解决什么问题
- 评估缺口：没有专门隔离工具使用推理的诊断 benchmark。
- 监督缺口：现有第一人称语料缺少将工具选择、目标状态变化、操作程序、因果效应连接起来的密集标注。
EgoTools 同时覆盖训练资源（EgoTools-Data）和评估工具（EgoTools-Bench），形成闭环——既暴露当前模型的能力边界，也提供可操作的微调数据来部分填补这个 gap。
核验过程
本攻略引用的所有关键数字均来自以下官方来源，并经 web_search 交叉验证：
| 说法 | 来源 | 交叉验证 |
|---|---|---|
| 646 视频 / 100.37 小时 / 7 场景 | GitHub README | arXiv abstract + 项目页一致 |
| 361,332 分层字幕 / 6,519 工具中心叙述 | GitHub README | 项目页一致 |
| EgoTools-Bench 1,000 题 / 8 选 1 / 4 track | GitHub README | 项目页一致 |
| Qwen3-VL-8B-Instruct 基线 50.0%，SFT 后 60.9% | GitHub README | arXiv v2 原文一致 |
| SFT 提升：AC +9.3、PG +13.8、PD +11.0、SR −11.0 | GitHub README | arXiv v2 原文一致（精确值） |
| Gemini-3.1-Pro 总体 66.9%，PG 单项 51.7% | 项目页 Leaderboard | arXiv abstract 一致 |
| EgoTools-8B 总体 60.9% | 项目页 Leaderboard | GitHub README 一致 |
| 训练配方：冻结 vision encoder + multimodal aligner，只微调 LM | GitHub README | — |
| 184,679 instruction examples | arXiv v2 原文 | 交叉搜索确认 |
| Random 基线 12.5%（8 选 1） | 项目页 | — |
⚠️ 说明：X 原帖提及"与具身智能/机器人任务高度相关"，系 @_akhaliq 的解读性评注；原论文本身并未直接针对机器人任务做实验，这一说法标注为「原帖主张，未核验」。
上手步骤
1. 环境安装
git clone https://github.com/Ropedia/EgoTools.git
cd egotools
bash scripts/setup_eval.sh
conda activate egotools_eval
2. 下载数据
数据集在 HuggingFace：https://huggingface.co/datasets/ropedia-ai/egotools-data
下载后准备好 manifest.tsv（视频路径、问题、选项、答案）。
3. 推理评测（基座 Qwen3-VL-8B-Instruct）
# 准备评测数据
egotools-prepare-benchmark \
--manifest /path/to/manifest.tsv \
--assets /path/to/media \
--output data/benchmark
# 运行推理（64 帧协议，与论文一致）
CUDA_VISIBLE_DEVICES=0 egotools-evaluate \
--dataset-root data/benchmark \
--model Qwen3-VL-8B-Instruct \
--nframe 64 \
--results-dir outputs/qwen3-vl-8b
4. 评测参考微调模型 EgoTools-8B
CUDA_VISIBLE_DEVICES=0 egotools-evaluate \
--dataset-root data/benchmark \
--model EgoTools-8B \
--model-path /path/to/checkpoint \
--nframe 64 \
--results-dir outputs/egotools-8b
模型权重：https://huggingface.co/ropedia-ai/egotools-8b
5. 自定义微调配方
论文的参考训练方案冻结 vision encoder 和 multimodal aligner，仅微调 LM 组件，使用 MS-Swift：
# 准备 SFT 数据
egotools-prepare-sft /path/to/train.jsonl \
--output /path/to/train.swift.jsonl
# 8 卡训练
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 NPROC_PER_NODE=8 \
bash scripts/train.sh \
--dataset /path/to/train.swift.jsonl \
--output-dir outputs/egotools-8b
详细训练说明见 docs/TRAINING.md。
6. Benchmark 的 4 条轨道
| 轨道 | 问题数 | 考察能力 | 示例问题 |
|---|---|---|---|
| AC · Affordance & Causality | 363 | 工具适合度、替代选择、工具中介动作的后果 | 为什么选螺丝刀而不是剪刀？ |
| PG · Perception & Grounding | 236 | 工具/目标身份、属性、状态、数量等可观察事实 | 烧杯里现在有多少毫升液体？ |
| PD · Procedural Dynamics | 222 | 操作顺序、任务进度、时间维度的变化 | 下一步应该先做什么？ |
| SR · Spatial Reasoning | 179 | 手-工具-目标的自我中心几何关系（位置、对齐、容纳、支撑、接触、深度） | 螺丝刀尖端朝向哪个方向？ |
坑与适用边界
1. Spatial Reasoning 微调后下降（重要）
SFT 使总体准确率从 50.0% 提升到 60.9%（+10.9 pp），但 Spatial Reasoning 反而下降了 11.0 pp。论文明确指出这是当前训练配方（冻结 vision encoder）的局限性，也意味着如果你关心空间推理能力，需要额外的设计（如 3D 标注的利用），不能简单照搬这个配方。
2. 评测帧数协议敏感
论文基线用 64 帧；Qwen3-VL Thinking 用 512 帧；Gemini 模型使用 1 fps 视频。不同配置对应不同输入条件，跨配置直接比较不公平。评测时务必对齐协议。
3. 工具中心叙述质量依赖人工标注
6,519 条 narrations 是连接工具选择与目的/原因的核心监督信号，其质量直接影响微调效果。数据集来自人类参与者，受个体差异影响。
4. 当前模型与人类差距显著
即使是 SOTA 的 Gemini-3.1-Pro（66.9%），也远低于人类专家 free-view 条件（82.1~85.2%）。Random 基线 12.5% 意味着 8 选 1 的 chance level 不低，选择题设计本身并不能完全消除语言 prior 的干扰。
5. EgoTools-Data 的媒体文件需要单独下载
manifest.tsv 只包含元数据和相对路径；实际视频文件需要从 HuggingFace 单独下载，磁盘空间和时间成本需纳入规划。
6. 适用边界
- ✅ 适用：视频语言模型在工具使用推理上的诊断评估；基于真实第一人称视频的具身 AI / 机器人任务的数据增强和 SFT；评估 VL 模型对"动作-工具-目的-状态"链的理解能力
- ❌ 不适用：纯静态图像工具识别（无时间维）；需要精确 3D 空间重建的任务（当前数据集的 3D 标注是辅助信息，不支持精确测量）；小样本或零样本工具替换推理（数据集工具清单有限）
一句话结论
EgoTools 填补了第一人称视频中工具使用推理的评估与训练空白——即使 SOTA 模型 Gemini-3.1-Pro 也仅达 66.9%，离人类 82%+ 的水平还有显著差距，而 EgoTools-Data 的监督信号已证明能在 Qwen3-VL-8B 上带来 10.9 pp 的可落地提升，Spatial Reasoning 除外；如果你在具身 AI、机器人 or 视频 agent 方向工作，这个 benchmark 和数据集值得优先关注。