flyP 周六精读与反方审稿 · 2026-08-08 10:30

任务:研究知识库 · 周六精读与反方审稿 · flyP(本周 8/2 ~ 8/7 候选池筛选) 本稿形式:结构化阅读笔记 + 审稿式批判(2 篇主稿对照),不抓全文 PDF,不输出密钥/Token,不 git commit/push/PR 写入边界:仅 inbox/flyp/;不直接写 notes/ / reviews/ / topics/ / knowledge/(路径在 §6 元数据中以"建议路径"形式登记,由同步任务串行合并) 本棒 v1 → v2 触发:本次为周六棒,v1 直接按 light-review v2 + 反方审稿 v2 模板合并写;若同步任务在 review 阶段发现任一篇证据缺口,可触发 v2 覆盖

§0 选稿逻辑(本周候选池 → 2 篇)

§0.1 本周(2026-08-02 ~ 2026-08-07)flyP 已写精读稿目录

§0.2 周六棒筛选标准

按周六"高价值精读 + 反方审稿 + 复现风险分析"三件套,过滤掉已在前序 cron 写过完整精读+反方的稿(RecMem / Mental World Modeling / Physics-of-MM / HORIZON / Beyond-pass1 / BVS / LongDS-Bench),只挑仍存在结构性补强空间的稿。本周六棒最终 2 篇选定:

第 A 篇 · LMM-Searcher:长程多模态 Agentic Search 的"文件式视觉表征 + 按需取图"

A.1 元信息

• 论文:LMM-Searcher: Towards Long-Horizon Multimodal Search with File-based Visual Representation
• arXiv:2604.12890(v2 2026-04-25,v1 2026-04-14)
• HTML:https://arxiv.org/html/2604.12890v2
• 代码:https://github.com/RUCAIBox/LMM-Searcher(论文承诺开源,release 状态待补查)
• 作者/机构:Yifan Du, Zikang Liu, Jinbiao Peng, Jie Wu, Wayne Xin Zhao, Ji-Rong Wen(中国人民大学 高瓴 AI School)+ Junyi Li(香港城大)
• Base 模型:Qwen3-VL-Thinking-30A3B(MoE-VL,30B 总参 3B 激活)
• 评估基准:MM-BrowseComp(Level1/Level2)、MMSearch-Plus、MMSearch(171 image)、Video-MME
• 核心宣称:100-turn 长程搜索下,open-source SOTA on MM-BrowseComp & MMSearch-Plus
• 分类标签:multimodal-agent、long-horizon-search、file-based-visual-rep、UID-offload、agentic-multimodal-rag、reproduction、flyP-multimodal-axis

A.2 摘要层贡献(中文结构化)

1. 新表征:把搜索过程中的图像不直接 inline 进对话,而是"存为文件 + UID 索引 + 按需 fetch"。
2. 新训练:用 12K 高质量轨迹 SFT,使模型学会"何时该把哪张图换成 UID"。
3. 新评测:MM-BrowseComp Level1/Level2 把"上下文爆炸"显式化,要求 100-turn 持续推理。
4. 新范式:把"agentic multimodal RAG"从"全图 inline + 文本检索"切到"文件式 + 工具式取图"。

A.3 核心实验数(从摘要 + HF 卡片层抓取,精度受限)

• MM-BrowseComp Level2 上"open-source SOTA",但与闭源(GPT-4o / Claude 3.7)对比数字摘要未给 → R2 反方触发点。
• MMSearch-Plus 提升幅度未在摘要给出绝对值 → R3 反方触发点。
• Video-MME 仅作为辅助消融,不是主打评测。

A.4 §6 复现风险分析(本棒新增 v2 三段式)

复现门槛综合判断:中等(代码若完整 release,GPU 资源 8 张 A100/3 天内可跑完 Level1;Level2 因长程依赖 GPU 翻倍)。反方结论:在 release 不完整 + 数据污染未审计两条中至少一条没补齐之前,不应在工程生产环境引用其"100-turn SOTA"数字。

A.5 §7 反方审稿 v2 三段式(本棒新增)

沿用 flyP 自 7-04 起的反方 v2 三段式:证伪条件 + 判定依赖 + 严重度。

R1 文件式表征的"按需 fetch"是否会因 UID 解析失败导致轨迹级崩溃? - 证伪条件:若 LMM 在推理中将"应 fetch 的图像"错误地保持为 UID,后续 query 答案直接挂掉,而训练数据没有显式标注这种错误路径。 - 判定依赖:需看 §3.4 错误恢复机制 + 附录失败案例。 - 严重度:★★★

R2 与闭源 SOTA(GPT-4o / Claude 3.7)的对比为何摘要层缺数字? - 证伪条件:若作者只在附录给出闭源对比且 Level2 上 open-source < closed-source < 5 个百分点,宣称"open-source SOTA"会显得空洞。 - 判定依赖:PDF §5.2 + 表 1 / 表 2 的全量数字。 - 严重度:★★★

R3 MMSearch-Plus / MMSearch(171 image)的"100-turn 极端长程"是否真的对应真实用户场景? - 证伪条件:若 100-turn 设计是评测驱动而非用户驱动,工业部署中能拿到的是 5-15 turn 的真实多模态搜索 query,泛化性需打问号。 - 判定依赖:需看 §2.2 task taxonomy 是否做了真实 query 分布验证。 - 严重度:★★

R4 12K SFT 轨迹的"高质量"由谁保证? - 证伪条件:若 12K 全部来自 GPT-4o 自举(self-distillation),则相对开源 base 提升不一定来自方法,而是来自 GPT-4o 教师信号;若来自人工标注,需补标注者数量 + 一致性 κ。 - 判定依赖:PDF §3.3 数据构建 + 附录 SFT prompt template。 - 严重度:★★★★(这条直接决定能否在 R34 立标)

R5 文件式视觉表征是否会与"多模态 RAG 的统一 embedding"路线冲突? - 证浮条件:若长期看,统一 embedding 路线(UniIR / MagicLens)能把图像直接 inline 进向量库,LMM-Searcher 的"文件 + UID"会显得是临时绕路。 - 判定依赖:与 UniIR / MagicLens v3(若已发布)做 head-to-head。 - 严重度:★★

R6 项目页 / leaderboard 是否会持续更新? - 证浮条件:若项目页 2026 年内没有新 commit,会被同主题后续工作(MMSearch-R1 / LongMM-Searcher / InternLM-XComposer-Agent 等)超越。 - 判定依赖:看 GitHub commits 频率 + 项目页最后更新日期。 - 严重度:★★

反方结论:LMM-Searcher 作为"open-source 长程多模态搜索的代表方法"在 R34 §2.39.x 有邻接候选位,但不应立标;立标信号 ★★★☆☆(介于 2-3 星之间)。复现风险综合评级:中-高(release + 数据污染 + SFT 来源三条至少补齐两条才能在生产引用)。

A.6 与 flyP 主线的邻接

• 与 8-7 LMM-Searcher(同稿)主线一致,但本棒新加 §6 复现风险 + §7 反方 v2。
• 与 7-04 SoK-Agentic-RAG 邻接:文件式表征对应 SoK §4.3 "Offloading-as-tool" 槽位。
• 与 8-6 Long-context-128k-to-4m 邻接:100-turn 长程属于"逻辑长度"而非"上下文长度",两者衡量维度不同,不可混为一谈。
• 与 8-6 MiniWorld 隔得远(后者是 video world model 而非 search)。

第 B 篇 · Zero-Mem × Sparse Event-KV:LLM Agent 记忆范式的两条反方路线

B.1 元信息

B.2 摘要层贡献(中文结构化)

B.2.1 Zero-Mem

1. 反方挑战:"结构化记忆访问需要 LLM 生成"——LLM 调用成本高。
2. 替代范式:Memory-as-Encoder(encoder-only 模型 + 结构化轨迹),把"何时取什么"从 LLM 调用压到 encoder 推理,token 成本接近 0。
3. 立标信号:首个把"零 token memory"作为系统化目标的方法。

B.2.2 Sparse Event-KV

1. 反方挑战:"KV cache 缓存条目可作为稳定的 episodic memory"——但被丢弃 observation 的语义信息永久丢失。
2. 替代范式:Memory-as-Sparse-KV("semantic materialization" = 被丢弃 observation 的语义残影)。
3. 立标信号:首次把 KV cache 的"语义残影"显式化为可索引的 episodic memory。

B.3 §B.5 范式对位:两条反方路线的"被挑战前提"与"替代方案"对称性

对位结论:两条反方路线其实是不同维度的反方——Zero-Mem 反对"LLM-as-memory-access",Sparse Event-KV 反对"observation-as-discardable"——它们不冲突,而是拼图的两块。若工程上同时部署,Zero-Mem 处理"某用户的偏好表",Sparse Event-KV 处理"昨天对话的关键事件残影"。

B.4 §B.6 复现风险分析(本棒新增)

复现门槛综合判断:Zero-Mem = 中(代码若 release,中等 GPU 团队可复现);Sparse Event-KV = 高(单作者 + 推理引擎改动 + 评测体系自建)。

B.5 反方审稿 v2 三段式

R1 Zero-Mem 的"零 token"声明是否过于激进? - 证浮条件:若 encoder 推理仍需 1-2 张 A100 的持续 GPU 占用,与"零 token"的"低成本"卖点矛盾。 - 判定依赖:看 §4.2 encoder 推理成本表 + §6 部署成本分析。 - 严重度:★★★

R2 Zero-Mem 是否在"非结构化对话"场景失效? - 证浮条件:encoder-only 强依赖结构化轨迹,若用户偏好是隐式、非结构化的(如语气/情绪),encoder 检索会失败。 - 判定依赖:看 §5 消融中是否包含非结构化 query 子集。 - 严重度:★★★

R3 Sparse Event-KV 的"semantic materialization"是否真的语义无损? - 证浮条件:被丢弃 observation 重建为 episodic memory 时,若关键事件细节(如时间戳/数值)被压缩,语义信息会丢。 - 判定依赖:看 §3.2 重建算法 + §4.3 量化指标。 - 严重度:★★★★

R4 Sparse Event-KV 是否是 KV cache 工程优化的"反方警示"而非"新范式"? - 证浮条件:若作者本意是警示 KV cache 工程优化中不要把 observation 当 disposable,则不应立标为"新记忆范式",而应作为系统侧警示文档。 - 判定依赖:看 §6 讨论是否明确"我们不是替代 episodic memory,而是补全 KV cache 的语义残影"。 - 严重度:★★

R5 两篇共同缺口:与外挂记忆(Mem0 / Letta)head-to-head 缺。 - 证浮条件:若 Zero-Mem 在 LoCoMo 上得分仅略高于 Mem0 baseline,则"零 token"卖点会被"工程成熟度低"反噬。 - 判定依赖:看 §5.2 与 §5.3 的对比表。 - 严重度:★★★★

R6 复现不友好:Zero-Mem 12K 轨迹数据是否公开? - 证浮条件:若 12K 训练轨迹与 LongMemEval-S 测试集有重叠,数据污染风险高。 - 判定依赖:看数据 release 声明 + GitHub commit history。 - 严重度:★★★★

反方结论: - Zero-Mem 立标信号 ★★★★★ 在 v40 §2.2 agent 共识候选,但复现风险中等 + 反方 R1/R2/R5 至少补齐两条才能正式立标。 - Sparse Event-KV 立标信号仅 ★★★☆☆,建议降级为"系统警示文档"位而非立标候选。

B.6 与 flyP 主线的邻接

• 与 8-2 RecMem 形成 agent memory 主线三联骨架:外挂四能力(AR/TTL/LRU/CR)+ 原生 foundation + 复发触发 vs 零 token encoder。
• 与 8-4 Mental World Modeling 隔得远(后者是世界模型,不是记忆)。
• 与 7-04 SoK-Agentic-RAG 邻接:Zero-Mem 对应 SoK §4.2 "Encoder-as-Memory" 槽位,Sparse Event-KV 对应 SoK §4.5 "KV-as-Memory" 槽位。
• 与 8-7 LMM-Searcher 互补:后者用文件式表征解决"图像上下文爆炸",Zero-Mem 用 encoder 解决"LLM 调用成本爆炸"。

§1 综合反方审稿结论(本棒最终判定)

§2 分类标签

• multimodal-agent(LMM-Searcher)
• long-horizon-search(LMM-Searcher)
• file-based-visual-rep(LMM-Searcher)
• UID-offload(LMM-Searcher)
• agentic-multimodal-rag(LMM-Searcher)
• reproduction(LMM-Searcher 复现风险分析)
• agent-memory-paradigm(Zero-Mem × Sparse Event-KV)
• zero-token-memory(Zero-Mem)
• sparse-event-kv(Sparse Event-KV)
• kv-cache-semantic-residual(Sparse Event-KV)
• llm-infra(Sparse Event-KV 副分类)
• critical-read
• flyP-multimodal-axis(LMM-Searcher)
• flyP-agent-axis(Zero-Mem × Sparse Event-KV)

§3 是否建议精读 / 反方审稿 / 主题页更新

§4 建议写入路径(供同步任务串行合并)

实际写入路径(本轮 inbox 草稿): - /shared/research-kb/inbox/flyp/2026-08-08-1030-sat-weekly-deep-read-LMM-Searcher-and-ZeroMem.md(本文件)

§5 信源截止日(本棒)

1. 抓 8-7 inbox/flyp/2026-08-07-LMM-Searcher-long-horizon-multimodal-agentic-search-critical-read.md 已写精读稿(329 行 / 27.6 KB) + arXiv abs 摘要 + GitHub 仓库元信息
2. 抓 8-5 inbox/flyp/2026-08-05-1550-Zero-Mem-and-Sparse-Event-KV-memory-paradigm-critical-read.md 已写精读稿(230 行 / 19.6 KB) + paper_cards/730 + paper_cards/734 索引
3. 本周候选池去重:扫描 inbox/flyp/2026-08-0[2-8]*-critical-read.md 17 份已写稿 + paper_cards/ LMM-Searcher 索引缺失发现 → 已立补建索引建议
4. 信源截止日 4/4 = 100%

§6 待人工确认的问题(Anan 视角)

1. LMM-Searcher GitHub 仓库 https://github.com/RUCAIBox/LMM-Searcher 截至 2026-08-07 是否真的 release 完整(数据 + 评测脚本 + 12K SFT 轨迹)?
2. Zero-Mem arXiv:2607.29377 的代码仓库链接(摘要层未给,需在 paper_card 730 补查)
3. Sparse Event-KV arXiv:2607.23693 是否为单作者论文(若为单作者 → 立标信号应再降一档)
4. 是否同意 Zero-Mem 进 v40 §2.2 agent 主线第六十九节点候选?(条件:R1/R2/R5 至少补齐两条)
5. 是否同意新建 notes/agent-memory-paradigm-2026.md 主题页?
6. 本棒反方 12 条是否需要进一步抓 PDF §X.Y 节号验证?(目前仅基于 abs 摘要 + 已写精读稿)