jay 自测日记录 · 2026-10-29
总分：36/50 知识盲区：①闭环四层只背得出流程线，讲不清每层由谁承担（Human=固定代理、Assistant=只见帧+对话、判定=世界状态），说不清「配 Oracle 100%、无辅助 0%」各锁死哪段；②「环境状态判定」只当「更客观」引用，讲不出它只解评判侧循环依赖、执行侧未解，故是单向解耦；③「首错 70.4%–85.7% 属感知与记忆」只记区间，讲不清它是首错而非总错统计，与「长任务掉分快」看似矛盾、实为两轴未交叉；④「沟通是短板」只记对照，讲不清因果链（能力持平 → 沟通差 9.8 点 → 完成率差 11.7 点），更说不清失败是「Human 读不懂」还是「Assistant 漏发动作」；⑤「动作冗余 2.35×–3.66×」只当数字，讲不清 Oracle 基准同含「知道做什么」与「表达正确」，缺口混合两者；⑥「记忆消融 Planning −5%」只记分向，讲不清为何加记忆反让 Planning 变差——我倾向「失败不在遗忘而在顺序判错，记忆反而锚定错误计划」，但这是推测；⑦「Human 是听话的代理」只记结论，讲不出偏置方向：它拿全部合法命令、不筛可行性，失败全归链路且免了表达歧义税，故 41.7% 更近上界。
- 来源论文：arXiv 2610.33966 — InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants（2026-10-25，cs.HC，Meta）
- 被使用文件：
organized/guides/x-tip-2115097545147924900.md
题目一（两层结构与闭环 · 谁承担哪一段）
问：InteractiveWorld 与 InteractiveBench 的分工？闭环四段各由谁承担？为什么同一 Human 配 Oracle 100%、无辅助 0%？
答：前者是可复用模拟器（Isaac Sim + OmniGibson、BEHAVIOR-1K 场景物体、SMPL+H + grasp atlas、A* 规划自动避障/握法），后者是其上冻结的 120 任务。
四段：观察=模拟器渲染第一人称帧；指导=Assistant 每轮输出 interrupt（带指令）/ silent / done；执行=固定的 Human 模型把自然语言翻译成合法动作；世界更新=环境执行、更新状态、渲染新画面。判定在第五步由世界状态（goal 满足）完成，不靠模型给文本打分。
两个端点锁死链路两端：同一 Human + Oracle = 100% 说明后半段（翻译 + 执行 + 判定）不是瓶颈；无辅助 = 0% 说明 Human 只是执行器。瓶颈因此落在中段：指导的生成与表达。
评分：8/10 扣分：全对；扣在没点出 100% 是上界非典型值。
题目二（可验证性的实质 · 解耦了哪一环）
问：「成功由环境状态判定，不由模型给文本打分」解耦了什么？为何是「单向解耦」？
答：解耦的是评测者与被测者：判定依据是 goal 描述的最终世界状态，打分器不读 Assistant 自述，故无法靠「说得像完成了」骗过判定，也不再有「强模型给弱模型打自然语言分」的循环依赖——这就是 "Verifiable"。
但执行侧未解：链子是 Assistant →（自然语言）→ Human →（合法动作）→ 环境，翻译一步引入独立模型误差源。且 Human 拿全部合法命令、不筛可行性——指令含混或非法时失败落到 Assistant 头上，但归因上是否也含 Human 损耗，无法分离。
故：判定侧已解耦、执行侧未解耦。同一 Human 配 Oracle 得 100% 正因 Oracle 指导不含歧义、翻译损耗趋近零，反向说明指导含混时失败里有多少该记 Assistant 头上，材料未拆分。
评分：7/10 扣分：三点都答到；扣在没把「单向解耦」推到推论——本环境测的是「理想执行假设下的指导上限」，我没与「41.7% 是否高估」挂钩。
题目三（错误结构 · 70.4%–85.7% 怎么读）
问：③ 说感知与记忆错误占全部首错 70.4%–85.7%，② 说难点在维持闭环（长任务掉分快）。矛盾吗？怎么读？
答：不矛盾，但分属两条轴：③ 是错误类型轴（首错是感知/记忆 vs 规划/执行），② 是任务长度轴（长程维持 vs 单步质量）。我没有证据说论文做过交叉分析。
可作解读：长任务掉分快，一部分来自前段错误沿链放大（第 1 步没看清物体 → 第 3 步在错物体上操作 → 终态不满足），一部分来自后段维持退化（记得住但保持不住节奏）。多数首错落在感知/记忆，长任务里会被后续步骤放大。故：长任务掉分 = 首错传播 + 维持下降的叠加。此为读法而非论文结论——材料未给交叉表，也未说明该区间的分母口径。
评分：6/10 扣分：两轴分离与叠加解释成立；扣在 ① 没指出这是区间而非点估计；② 没把「首错 vs 总错」口径讲死——首错占比高不等于「修好感知记忆就解决 70% 失败」；③ 没给区分实验。
题目四（沟通短板与动作冗余 · 归因）
问：④ 说 GLM-5.3-Flash 与 Claude Fable 5.1 能力分几乎相同（58.2% vs 59.2%）但通过率差 11.7 点（30.0% vs 41.7%）；⑤ 说 Accessibility/Guidance 类需 Oracle 2.35×–3.66× 动作量。各说明什么？
答：④ 是近似线性传导链：能力分差 1.0 → 沟通分差 9.8 → 通过率差 11.7。即沟通不是辅助项而是决定项，反驳「能力分高就能闭环」。⑤ 是动作经济性问题：相对 Oracle 多花 2.35×–3.66×，说明指导不够原子化——倾向一次给冗长复合指导，而非拆成 Walk/Grab/Put。
归因主要在 Assistant：两模型能力分几乎相同，差的不是「知道要做什么」而是「说清楚、说得可执行」。但标注一个分不清的比例：Oracle 基准同含「知道正确动作序列」与「每动作表达正确」，故 2.35×–3.66× 混合认知与表达缺口。我更分不清失败是「Human 读不懂」还是「Assistant 漏发动作」——前者把部分损失从 Assistant 转到 Human 账。
评分：7/10 扣分：传导链、原子化解释、归因主体都答到；扣在 ① 没做「沟通差 9.8 vs 能力差 1.0」的量级结论；② 这仅是单两点对照，推不出系数；③ 没给出区分「说不清」与「没想清」的可操作判据（如 Human 侧翻译失败码）——本轮最实未解点。
题目五（消融与边界 · 记忆为何帮倒忙）
问：加隐藏 Memory 后 Prevention/Finding +5–15%，Decision/Guidance/Accessibility 因模型而异，Planning 掉 5%。为何加记忆反让 Planning 变差？环境边界？Human 是「听话的代理」对以上数字有何偏置？
答：记忆帮倒忙（推测，材料未明示）：Planning 失败不在遗忘，而在顺序判错。有了显式记忆，Assistant 更确信自己已知的错误计划并据此继续发指令；无记忆时更可能因犹豫而重新观察、偶然纠偏。故记忆把「偶然纠偏」换成「锚定错误」——简单记忆增强不足以支撑长程辅助。
边界：① 门槛高（Linux + NVIDIA GPU、单 worker 约 4GB 显存、约 100GB 磁盘、需注册下载 MANO/AMASS；代码 CC BY-NC 4.0）；② 仓库无 tag/release，且规模口径不一（以 README 44 场景为准）；③ 模拟的是听话的人，论文自认需 "behavioural calibration" 对齐真人，且闭环受链上最弱一环限制、非静态问答榜；④ Accessibility 类刻意对 Human 隐藏视觉输入，复现勿误判为配置错。
偏置：Human 冻结了「执行能力」，失败全归链路；同时免除了 Assistant 的表达歧义税（真人听不懂会停，Human 不主动澄清），故 41.7% 更接近「指令清晰且人类高度服从」的上限。另：Accessibility 隐藏视觉正靠此冻结实现，若换成有视力的真人，该类难度会变，不宜与其它类别横比。
评分：8/10 扣分：推测（已标注）、消融与 ③/④ 的分工、边界、两类偏置都覆盖；扣在 ① 没把「材料明示 vs 我的推测」分区；② 没单列 TaskPack/sha256 这个工程支撑；③ 没指出 Memory 字段隐藏（等于多一个 scratchpad 而非数据库），不可外推到长程记忆工程。
总评
总分：36/50（较 10-28 的 41 分 −5）
强弱：最强在结构与边界梳理（题一 8、题五 8），最弱在因果归因（题二 7、题三 6、题四 7）：三题都能复述数字与结论，却都停在「差多少」而推不出「差在哪一段、记谁的账」，三处都写了「分不清」。
同构：连续第六日同形——能列结论、推不出机制（10-28 缺滑动平均方程，本轮缺分段归因）。更明显的退化：本轮有两处明确写了推测（记忆使 Planning 掉 5%、首错沿链传播），前几日失分多是「没写出」而非「写错」。