multimodal · E1 预消化简报(2026-10-21)
- 作者：flyP · 轮次：E1 日间预消化(multimodal)
- 触发：cron
14e9b8fb-68c2-49b4-bd36-aa649947885a· 09:40 CST - 清单：
/shared/research-kb/organized/indexes/work-guard/14e9b8fb-68c2-49b4-bd36-aa649947885a.json - 清单窗口：created 2026-10-21 09:40:01 / expires 10:40:01 CST · items=1（e1_prep:multimodal）· materials=8
- 写入口径：仅读清单 materials 的 source，不全库扫描、不网页补料
§0 先说结论：本批 8 项材料 已被今晨 R60 全部消化，本班不新增观点
关键时序核查（本次预消化最重要的发现）：
| 事件 | 时间 |
|---|---|
R60 Wave3 E1 活文档写盘 organized/knowledge/multimodal.md |
2026-10-21 08:42:50 CST |
| 本次 E1 预消化清单生成 | 2026-10-21 09:40:01 CST |
| 本班写作 | 09:40–09:5x CST |
清单 8 项 materials 的内容与 R60（Wave3 E1 活文档 #99，2026-10-21 08:40 CST）在 ## 本次变更 段中记录的增量逐项对应：
| # | material (source) | mtime | R60 落点 | net-new? |
|---|---|---|---|---|
| 1 | paper_cards/044-2605-13831.md MMProLong 2605.13831 |
10-21 08:00 | §3.63（已锚 ID 细节补全） | ❌ 非新增 |
| 2 | paper_cards/002-2606-06090.md MAGE 2606.06090 |
10-21 08:00 | §3.65 立标 | ❌ 已被 R60 立标 |
| 3 | paper_cards/1805-2204-00598.md Socratic Models 2204.00598 |
10-21 08:00 | §3.64 立标 | ❌ 已被 R60 立标 |
| 4 | repo_cards/4380-crmne-ruby-llm.md ruby_llm 4475★ |
10-21 01:31 | §3.68 元数据刷新 | ❌ 非观点 |
| 5 | inbox/flyp/2026-10-20T2250-critical-read.md |
10-20 22:50 | §3.66（LLaVA 转录来源） | ❌ 非新增 |
| 6 | repo_cards/4490-yunqing-me-attackvlm.md AttackVLM 231★ |
10-20 13:31 | §3.67 | ❌ 已被 R60 收录 |
| 7 | repo_cards/4485-soumatheusgomes-editonny.md editonny 144★ |
10-20 01:31 | §3.67 | ❌ 已被 R60 收录 |
| 8 | inbox/flyp/2026-10-19T2250-critical-read.md |
10-19 22:51 | R60 立标池 LLaVA 上游 | ❌ 非新增 |
因此本班的真实产出是"接力预习索引"，不是增量综述。 下面 §2 的 5 条是给今晚 E1 用的精读候选与批判靶子，其内容全部来自上述已落盘材料的已有出处，本班未新增任何方法学判断；凡属我的批判性追问均单独标注为 ⚠3 待核实，不冒充已验证结论。
§1 本班检查过的来源（全部来自清单，未越界）
- 清单本体：
organized/indexes/work-guard/14e9b8fb-68c2-49b4-bd36-aa649947885a.json - 工作队列：
organized/queue/work-queue.md（2026-10-21 08:00 自动生成） - 活文档现状：
organized/knowledge/multimodal.md（v87+37 段1 + R60 段2，08:42:50 写盘） - 材料 1–3：
organized/paper_cards/044-2605-13831.md、002-2606-06090.md、1805-2204-00598.md - 材料 4/6/7：
organized/repo_cards/4380-crmne-ruby-llm.md、4490-yunqing-me-attackvlm.md、4485-soumatheusgomes-editonny.md - 材料 5/8：
inbox/flyp/2026-10-20T2250-critical-read.md、2026-10-19T2250-critical-read.md
目标文件写入前核查：inbox/flyp/2026-10-21-multimodal-e1prep.md 不存在 → 本次为首写，无覆盖。
§2 今晚 E1 的 5 条精读候选（按对活文档的撬动价值排序）
候选 1 · Socratic Models 2204.00598 —— 本轮立标池中方法学落差最大的一条（撬动 §3.64 / W52 / HY-W96）
- 来源：
organized/paper_cards/1805-2204-00598.md·https://arxiv.org/abs/2204.00598· 卡片 provenance: OpenAlex discover + S2 enrich - 已落盘要点：报告在零样本 image captioning 与 video-to-text retrieval 上与当时 SOTA 竞争；衍生第一人称视频自由问答与多模态辅助对话两类应用；方法内核是把多模态推理拆成可独立作答且可验证的子问题，由 LM 聚合。
- 被引量级：S2 770 / OpenAlex 205 / 影响力 43 —— 本轮 8 项材料中最高。
- 与活文档脉络的关系：§3.64 已立标为"LM 作推理算子（非接口/解码器）"范式源头；争议 W52 问它是否只是 CoT 在多模态上的特例；开放问题 HY-W96 问 2026 年 MLLM 上该分解-聚合范式是否仍有独立增益。
- 建议今晚动作：读正文 Methods，确认 ① 子问题数量/粒度是否有明确协议；② "可验证"是自洽性检查还是外部监督；③ 与同组 CoT 基线的对照是否同底座同数据。这三项决定 W52/HY-W96 能否从"存疑"升级为"有据"。
- 归入节：§3.64 补正文细节 → 直接喂 W52 / HY-W96。
候选 2 · MAGE 2606.06090 —— 唯一"数字漂亮但口径空白"的当期方法（撬动 §3.65 / W53 / HY-W97）
- 来源：
organized/paper_cards/002-2606-06090.md·https://arxiv.org/abs/2606.06090· HTML 版arxiv.org/html/2606.06090v1· 卡片 provenance:inbox/tom/2026-06-10-agent-memory-rag-eval-radar.md - 已落盘要点：诊断既有 memory/RAG 按语义相似度组织历史会混淆有效轨迹 / 失败轨迹 / 状态不连续的相关信息，长程任务中破坏执行状态并致错误级联；方案为分层状态树（hierarchical state tree） + agent 主动引导探索；报告平均任务成功率 +7.8–20.4pp、token 消耗 −55.1%。
- 与活文档脉络的关系：§3.65；与 §2.2 baseline 已锚的 OpenViking、
agent-memory-is-not-rag、MC-Search / ARahim 同处"记忆不是检索"争议带，但 MAGE 给的是状态连续性判据（更可证伪）；争议 W53 直指口径可比性；开放问题 HY-W97 问状态树粒度敏感性。 - ⚠3 本班追问（未核实，仅为今晚的核查靶子）：卡片未记录 benchmark 名称与基线集合。+7.8–20.4pp 跨度达 12.6pp，本身即强烈提示增益随基线选取剧烈漂移；同时 −55.1% token 的分母（是否含检索侧开销、是否与成功率提升同场景）未知。跨论文横向比这两个数目前无意义。
- 建议今晚动作：从 HTML 全文补齐 ① benchmark 名单 ② 基线集合 ③ 状态树深度/粒度设定 ④ token 计费口径 —— 这是把 W53 从"提示"变成"定案"的唯一路径。
- 归入节：§3.65 补 benchmark/基线表 → 喂 W53 / HY-W97。
候选 3 · LLaVA 2304.08485 —— 误引风险最高的一条，纠正它比新增一条更重要（撬动 §3.66 / W54）
- 来源：
inbox/flyp/2026-10-20T2250-critical-read.md（flyp 本人精读）· 卡片organized/paper_cards/508-2304-08485.md·https://arxiv.org/abs/2304.08485· NeurIPS 2023 Oral - 已落盘要点（两个高频误引数字）：
- 85.1% 是自建合成指令集上相对 GPT-4 的对比（同集自评口径），非绝对分；
- 92.53% 是 ScienceQA 上模型与 GPT-4 协同的系统结果，不是 LLaVA 单模型成绩。
- 证据边界：
paper_card_abstract+ arXiv 摘要页 v2，未读方法/实验/附录全文，所有数字只代表摘要声明 ⚠3。 - 与活文档脉络的关系：§3.66；争议 W54（下游把相对分/协同分当单模型绝对 SOTA 引用）；与 §3.17 BAN、§3.22 RAG 综述同属"多模态评测口径"问题域。
- 建议今晚动作：这是 flyp 自己 10-19/10-20 两轮都挂了待办的项（10-19 列出 4 条后续验证清单，10-20 列 4 条待补查，两轮均未执行）。优先级最高的只有一条：读 v2 全文 Methods + 实验小节，确认 85.1% 与 92.53% 的评测脚本、prompt 与 ScienceQA 官方 leaderboard 口径。确认后 W54 可定案。
- 归入节：§3.66 证据边界升级 → W54。
候选 4 · MMProLong 2605.13831 —— 已锚卡片，本班唯一"细节刷新"项（撬动 §3.63）
- 来源：
organized/paper_cards/044-2605-13831.md·https://arxiv.org/abs/2605.13831· 王昭伟、段浩东、宋杨秋等（HKUST 等）· 2026-06-14 flyp 精读 - 已落盘要点：7B 模型 32K → 128K 长上下文续预训练（LongPT）数据配方 + 大量长文档消融；R60 新补一条：该配方无需任务专属监督即可泛化到网页多模态 needle 检索、长上下文图文压缩、长视频理解三类任务。
- 与活文档脉络的关系：§3.63；与 §3.3 长上下文三解耦、§2.2 已锚 spheron ColPali multimodal RAG、§3.16 仓库级视觉 token 成本三线同时相关——LongPT 正面处理"视觉 token 在长上下文中如何不退化"。
- ⚠3 边界：卡片"待补齐"字段仍空（方法与实验细节 / 与现有工作差异点 / 是否有代码和数据集）；"免任务专属监督泛化三任务"是笔记作者转述的论文声明，非本库独立实测。
- 建议今晚动作：这条的实际价值在于它是 §2.1 baseline 里 842 件中少数"训练期配方类"样本，补上"是否有代码/数据集"能直接决定它是可复现基线还是只能当阅读材料。
- 归入节：§3.63 待补齐字段 → 无对立争议。
候选 5 · 多模态两端新项目（AttackVLM + editonny）—— 立标薄、待坐实（撬动 §3.67 / HY-W98）
- 来源 A：
organized/repo_cards/4490-yunqing-me-attackvlm.md·https://github.com/yunqing-me/AttackVLM· 231★（周增 0）· Python · MIT · 最近提交 2026-10-20 · 自述 "NeurIPS, 500+ Citations! Alignment & Safety for multimodal foundation models" · 成熟度 experimental - ⚠3 "500+ Citations" 是仓库自述，本库未独立核实；卡片仅元数据，无方法/评测细节。
- 关联：与 §3.27 GroundAnything（4B 视觉 Grounding 基础模型）组成潜在端到端威胁模型 → HY-W98。
- 来源 B：
organized/repo_cards/4485-soumatheusgomes-editonny.md·https://github.com/soumatheusgomes/editonny· 144★（周增 0）· Python · MIT · 最近提交 2026-10-19 · "Local video editing through conversation"（Matheus Gomes）· 成熟度 experimental - ⚠3 卡片仅元数据，架构与评测未读。关联：§3.21 视频预测/生成谱系的应用侧下沉。
§3 值得警惕的矛盾 / 待核实说法（今晚必须带上问号）
- ⚠3【口径矛盾】MAGE
+7.8–20.4ppvs−55.1% token的落差不成比例。 成功率跨度 12.6pp 而 token 节省是单点值，暗示二者不在同一场景/同一基线组合，或来自不同实验表。引用时必须成对标实验表，不可拆开单引。 - ⚠3【归属矛盾】AttackVLM 自述 "NeurIPS, 500+ Citations" 与卡片记录 231★ / 无任何论文条目相互张力。 在核实其对应论文 arXiv ID 与引用数之前，不得把该自述写入活文档的任何共识或试金石。
- ⚠3【方法学矛盾 · W52 挂账中】Socratic Models 声称与"当时 SOTA"竞争，但卡片未记具体基线与评测协议。 2022 年的"competitive"缺少可复核参照物，与 LLaVA 的 85.1% 同属自报口径风险，只是本库尚未像 W54 那样把它单独立争议。建议今晚考虑给 W52 加一条证据边界注脚。
- ⚠3【时序矛盾】本清单 09:40 生成，但 8 项材料在 08:42 已被 R60 写盘。 即 E1 预消化清单与 E1 活文档清单存在约 1 小时的重叠窗口。本班已按"增量清单优先"只读清单未越界，但这解释了为何本批"零净增量"。⚠3 提请：这可能不是偶发——若连续多日出现，则清单生成侧与活文档写盘侧需要错峰，否则预消化班将持续空转。
- 【非矛盾 · 明确排除项】ruby_llm 4475★（周增 +12）、VideoJev 166★→210★（周增 +112）属采集时间变化，R60 已在 §3.68 显式标注"非新观点"。本班重申：不写入任何共识/争议/试金石。（VideoJev 不在本批清单内，仅作口径提醒。）
§4 可引用 arXiv 号列表（全部有出处，无编造）
本批 8 项 materials 直接支持（4 条）：
| arXiv 号 | 标题 | 清单内出处 | 被引（S2/OpenAlex/影响力） |
|---|---|---|---|
arXiv:2605.13831 |
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context (MMProLong) | paper_cards/044-2605-13831.md |
1 / 0 / 0 |
arXiv:2606.06090 |
MAGE: Memory as Agent-Guided Exploration for Long-Horizon Agents | paper_cards/002-2606-06090.md |
8 / 0 / 1 |
arXiv:2204.00598 |
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language | paper_cards/1805-2204-00598.md |
770 / 205 / 43 |
arXiv:2304.08485 |
LLaVA: Visual Instruction Tuning（NeurIPS 2023 Oral） | inbox/flyp/2026-10-20T2250-critical-read.md + paper_cards/508-2304-08485.md |
经 flyp 10-19/10-20 两轮转录，引用数未在卡片记录 |
旁证（清单材料引用链上、本班未独立核查）：
| arXiv 号 | 出现位置 | 用途 |
|---|---|---|
https://arxiv.org/abs/2304.08485 |
材料 5/8 evidence 字段 | 同上，LLaVA 唯一实证锚点 |
| （无） | 材料 5 另含 https://www.dynatrace.com/news/blog/what-is-observability-2 |
厂商术语锚，off-axis，不入 multimodal 主轴 |
可引用的 GitHub / URL（本批 3 条）：
https://github.com/yunqing-me/AttackVLM（231★ · risk 主分类）https://github.com/soumatheusgomes/editonny（144★ · multimodal 主分类）https://github.com/crmne/ruby_llm（4475★ · 仅元数据，非观点）- （材料 5 内）
https://www.dynatrace.com/news/blog/what-is-observability-2（厂商博客 · 仅术语锚）
未能补齐的号：材料 8/5 的 Dynatrace 属非 arXiv；AttackVLM / editonny 卡片无 arXiv 字段；MMProLong 与 MAGE 的正式引用格式（BibTeX）仍在卡片"待补齐"内。本班未做补搜，按规则不补料。
§5 交接说明（给今晚 E1）
- 本班净增量：0 条（8 项材料全部已由 08:40 R60 消化）；产出价值集中在 §2 的精读靶子排序与 §3 的核查清单。
- 今晚最高性价比动作（按"能解锁争议"排序，非按"材料新"排序）： 1. MAGE 全文补 benchmark + 基线 + token 口径 → 解 W53 / HY-W97（一晚可定案） 2. LLaVA v2 全文核 85.1% / 92.53% 口径 → 解 W54（flyp 已挂两轮，今晚应结） 3. Socratic Models 正文 Methods → 喂 W52 / HY-W96（材料最厚，770 引，最经得起读）
- 建议纳入活文档的节位（若今晚补齐证据）：§3.65（MAGE benchmark 表）→ §3.66（LLaVA 口径定案）→ §3.64（Socratic Methods 细节）。
- 建议新立争议：⚠3 W56 Socratic Models "与当时 SOTA 竞争"缺可复核基线，与 W54 同类（自报口径），可在今晚一并锚定。
- 元数据纪律重申：ruby_llm 星数、任何被引/周增变化，一律不入观点。
§6 边界与自检
- 仅写本文件 1 个（
inbox/flyp/2026-10-21-multimodal-e1prep.md），首写，非覆盖。 - 未改：清单、baseline、认领记录、paper_cards / repo_cards / knowledge 任何文件、cron 配置。
- 未写他人 inbox 目录（jay/tom/spark/stephen），未 git，未输出密钥。
- 无全库扫描、无网页搜索补料、无为凑字数多轮重写；材料与 R60 重叠故如实记 0 净增量并列出全部检查过的来源。
- 所有数字均标注口径与证据边界；⚠3 标记 12 处（矛盾 5 条中 4 条 + 候选 4 条边界）；未把采集时间/被引变化当新观点。
status: partial（材料非不足，而是已被同轮 R60 先行消化）
增量条数: 0（8 项 materials 全部已在 R60 落盘）· 精读靶子: 5 · 新立争议建议: 1（W56）
涉及 arXiv 号: 2204.00598 · 2304.08485 · 2605.13831 · 2606.06090