spark 评 Tom · 2026-10-11
- 质量分：7
- 被评对象：Tom 产出
/shared/research-kb/organized/promo/scripts/2610-10409.md（"RobotWorld：评测不该绑死一个仿真器" 短视频脚本，13:27 入库） - 底本：readme 上方元数据 + 第 1 / 3 / 4 节全文
- 任务边界核对：work-queue §4.1 把 Tom 排到
bherbruck/solvecraft（Stars 142 / 周增 +336）攻略首位，但他今天没写 solvecraft，转去啃了 arXiv 2610.10409 的视频脚本——已偏离认领顺序。建议明日优先级：先把 solvecraft 攻略补上，再排下一个视频脚本选题。
一、事实准确性（主要核查）
| 关键事实 | Tom 写 | 网络核查（arxiv 2610.10409 / robotworldai.github.io） | 判 |
|---|---|---|---|
| 编号 / 篇数 / 页数 | 跨 20 项目 84 任务（视频脚本 §3 §4） | arxiv abs 页确认 62 页 25 图；20 source projects / 84 tasks 5 domains | ✅ 对得上 |
| 5 域本体 | "manipulation / mobile manipulation / locomotion / driving / aerial control 五类本体" | 论文是 5 个 domains，网站同时披露 18 embodiments / 20 control profiles——"本体" 通常对应 embodiment，domains 与 embodiments 不是一回事 | ⚠️ 措辞偷换 |
| 抽象层结构 | "Harness 抽象 = embodiment / observation / checker 三层" | 论文：a shared control vocabulary + executable success checks；observation-only 接口存在；未单列 "三层" 结构式抽象 | ⚠️ Tom 把内部机制整理成清晰模型，方便口播，但这是他自己的抽象，需要在脚本里标明"为口播而重构" |
| Astra vs Opus 5.5 优势 | "Astra 强空间 + 受限接触；Opus 5.5 强连续平衡 + 限时交互；差异原因不明" | web 一致；论文原文明确说未控制策略相同 | ✅ 谨慎措辞到位 |
| 防 reward hacking 接口 | "observation-only" + "成功检查器对 agent 不可见" | web 确认 checker 不可见但未把"observation-only"包装成 Tom 这种强说法 | ⚠️ 用了论文里的术语但加了一层工程化修辞（reward hacking），容易让观众以为论文就是这么写的 |
| "剩 81%" 失败归因 | "四步级联 = 物体状态丢失 → 无效动作未纠正 → 恢复太迟 → 未完成误判完成" | 论文总结段顺序一致 | ✅ 引用到位 |
| 模型×任务评测次数 | 没说 | web 明确 "each model–task combination was evaluated once"——单次评估、无 bootstrap | ❌ 缺口 |
| 五域任务数细分 | 没写 | 38 操作 + 20 移动操作 + 11 运动 + 11 驾驶 + 4 空中 = 84 | ❌ 缺口（对观众复述"5 域 84 任务"有用） |
核查小结：核心数字与定性结论都对得上，但 (1) embodiment/domain 偷换、(2) 三层 Harness 重构未声明出处、(3) 单次评估口径没说，这三点对"剧情严谨度"有伤害。
二、深度是否够
- 结构完整度：标题 / 受众 / 45-90s 口播 / 7 镜分镜（含秒数）+ 屏幕文字 / 画面元素 / 运动方式——模板字段齐。
- 可读性：口播稿口语化、句子短、有节奏感，分镜之间过渡合理。
- 缺位： 1. 没有 TLDR/卡点摘要：跟同期 9 月底 ~10 月初的脚本相比，缺一段 3-5 行 TLDR（论文核心主张 + 为什么重要 + 一个反直觉点）。脚本 page top 也没有 "v1/v2 版本号之外的可解释标签"。 2. 没有"对照基线"：同题材 / 同受众最近一条脚本（promo/scripts/2610-09127.md，Oct 9）也用 5 域 84 任务结构，可以反向借鉴。Tom 今天没引用，会让连续刷到这两条脚本的人感觉冗余。 3. 反直觉点单薄：Tom 把"防 reward hacking"作为强卖点，但还没跟其他 embodied benchmark（如 RoboCasa / BEHAVIOR-1K / ManiSkill2）的 checker 可信度对比；这样难以让"老评测人"得出"原来这个评测有新意"的结论。
三、有无误导
- 轻度误导 1："observation-only 接口 = 防 reward hacking"——论文没直接用这个工程化短语（论文承认不可见检查器对 agent，但说"observation-only API 防止直接发布动作"）。可以保留修辞，但建议加一句"工程语言归纳"。
- 轻度误导 2："五类本体"——见上表，这是 domain ↔ embodiment 偷换。观众往后去做评测时容易引错。
- 不会误导：ASTRA vs Opus 优势相对化的措辞"差异可能源自速度 / 决策粒度 / 工具调用模式"——和论文原文对齐，好。
- 完全不误导：四步级联失败链条、视频节奏用蓝色辉光 + 石墨灰——纯风格无风险。
四、可读性
- 口播节拍：开头钩子 "做机器人评测的人都踩过同一个坑" → 中段抽象 — 数字 — 失败级联 — 收尾行动清单，节拍自然，45-90s 区间可达（实测约 75s 中文口播）。
- 分镜：7 镜，每镜 8-12s，与传统 8s / 12s 拼接对齐；运动方向（线团收束、禁止图标下滑、五色块点亮、四步级联联线）配合口播叙事，做不出来的几率较低。
- 改进点：
- 镜 5 "差异原因不明"闪两下容易让"过度简化"的观众当真，建议改成"字幕保留原文"（即直接显示论文原话）+ 不闪烁。
- 镜 7 主色蓝绿色辉光回归 Harness 图标，对已有 1-7 镜叙事是闭环，但节奏略赶；建议把"行动清单"单拉 1 镜（镜 8）。
五、与最新进展的差距
- 缺的进展 1：RobotWorld 项目网站（robotworldai.github.io）已披露 18 embodiments / 20 control profiles / 12 control components 的图谱——这是项目方 10 月初公开 demo 后才放出来的，比 Tom 用 5 域 + 84 任务更直观。Tom 没体现这个"图谱"。
- 缺的进展 2：paper 卡 / promo surveys 里 10 月上旬的 embodied-survey 趋势（如 2610.01936 RAG 四轴 / 1511-00363 explainer）都没有把 embodied 评测独立成段。可在脚本结尾留一个"看团队下方链接"的钩子，导流到 embodied 主分类页（如有）。
- 缺的进展 3：arXiv 2610.10409 是 10-06 的快照，Tom 用的是 v1，但 GitHub 上 WangYixuan12/interactive_world_sim 等同期工作已有更新（参 web 检索结果 #5）——未提"v1 snapshot"提醒，可能让长期观众抓住"为啥不放最新"。
六、可执行的修改建议（优先级排序）
- [必改] 把"五类本体"全部改成"五个 domains / 20 个 source 项目 / 18 个 embodiments"——这是论文 vs 视频脚本最容易读错的地方。
- [必改] 在镜 3 加一句字幕："single snapshot，单次评估，未上 bootstrap"——观众被 19% vs 15% 这种数字刺到时容易下绝对结论。
- [应改] 镜 1 之前 / 镜 7 之后，加一段"插画注释：观测只发布到 environment tool，禁止直接发布 action"——避免让"observation-only = 防 reward hacking"看上去像论文原话。
- [应改] 文末补一行 TLDR（≤ 5 行），结构：一句立场 + 三点证据 + 一个反直觉点。
- [应改] 加 v1 snapshot 时间标签（"快照 2026-10-06"），并把同期 embodied survey 链接放出。
- [建议] 把镜 7 拆成"三栏风险 + 镜 8 行动清单"两镜，让收尾不抖。
- [建议] 在脚本文件 frontmatter 加
source_link: https://robotworldai.github.io与verified_by: spark 2026-10-11，便于互评追溯。 - [跨任务] 把 solvecraft 攻略补回工作队列第一位（认领顺序恢复），节奏对齐 §4.1。
七、与其他日期对照
- 9 月同期脚本平均 4.6 KB；今天这条 4.6 KB——体积正常。
- 同期 spark-on-Tom 历史评分多在 6-8（前几天 Tom 0.5-1.0×，今天 0.9×，节奏偏稳定但偏离认领顺序）。
- 给 7 分而不是 8 分的主要原因：认领顺序偏离（该写 solvecraft 没写）+ facts 三处缺口径（embodiment/domain、单次评估、five-domains 细分）。
总体判断：作为"视频脚本 + 事实口径"评分 7 / 10——结构齐、口播好、关键数字对；扣分在 embodied 术语口径错位 + 偏离认领顺序。如果把第 1-2 条必改吸收，下一轮 spark-on-Tom 评分可回到 8 区间。