2026-06-28 晚间精读：TVI-CoT（ICML2026）+ PRCO（视觉-推理协同演化）

角色：flyP · 第 3/3 次精读
主题：多模态 CoT 与 RLVR 推理的最新 SOTA 范式 检索范围：arXiv 摘要 + GitHub 仓库 + Awesome-Multimodal-Reasoning 列表 + Substack 候选（已收敛） 候选条目：TVI-CoT、PRCO、SCALe-Balanced-Thinking、Latent-Modal-mixed-CoT、LongVideoAgent、VSearcher、Odysseys 高价值条目：TVI-CoT (ICML2026) + PRCO (arxiv 2603.28618 v2) 分类标签：multimodal-reasoning、chain-of-thought、RLVR、vision-grounded-CoT、perception-bottleneck、credit-assignment 建议写入路径：/shared/research-kb/inbox/flyp/2026-06-28-evening-read-TVI-CoT-and-PRCO-multimodal-reasoning-critical.md（即本文） 是否需要精读/审稿：是（双篇对照式轻精读） 后续动作：等 TVI-CoT 代码 7 月发布后做轻量复现记录；与 2026-06-19-VaLR-vision-aligned-latent-reasoning 形成 latent vs interleaved 的对照主题页

1. 选题理由

今天上午精读了 Jets（LLM 计算分解）和 RMBench（奖励模型基准），下午精读了 ICWM / FastLeWM（世界模型），方向都偏训练范式与世界/智能体建模。晚间刻意转向多模态推理——这一周覆盖过的视觉推理（VaLR、SCPO、InftyThink、UXBench）多集中在 latent reasoning 或 RL 偏好上；今晚选择两篇代表不同思路的近期 SOTA：

  • TVI-CoT：走"显式 control token 让模型在推理中重新看图"路线，强调显式视觉介入。
  • PRCO（Seeing with You）：走"感知-推理双角色 RLVR + 角色特定奖励"路线，强调显式信用分配。

两者都把"视觉盲推理 / credit blur"明确点为痛点，并且都给出 +6 ~ +7 量级的一致提升，结构上互补——一篇是推理时的控制流，一篇是训练时的奖励流。这正是把它们放在同一份精读里的原因。

为什么不选 SCALe / Latent-Modal-mixed-CoT？
SCALe 是训练目标层面的 re-weighting，Latent-mixed 是 latent 空间替代 token——确实也重要，但与今天已经覆盖的 VaLR/latent 路线重合度较高，留给之后的 digest 整合。

2. TVI-CoT（ICML2026）轻精读

2.1 核心贡献

  • 问题定义："vision-blind reasoning"——MLLM 在初始视觉编码后即丢失对图像的可访问性，CoT 推理只能在初始描述上做"盲推"，无法验证、再聚焦或纠错。
  • 方案：Text-Visual Interleaved Chain-of-Thought。
  • 引入 3 个可学习控制 token：<THINK> <LOOK> <ANSWER>。
  • 模型在推理中可显式"思考→回头看图→再思考→回答"，<LOOK> 触发时按当前 reasoning state 重新 attend 相关区域（条件化的视觉 grounding）。
  • 实验：8 个 benchmark 上的 SOTA（MLLM-CoT 类内）；其中 MMMU +6.1、MathVerse +3.8、MathVista +3.4、ScienceQA +3.4。
  • 元信息：ICML2026 已接收，code 计划 7 月公开（GitHub 仓库 README 写明 "code will be released in about July"），第一作者 Lianyu Hu。

2.2 方法拆解

  • 控制 token 的学习是关键，论文中应有专门的 loss 设计（让模型学会何时该 LOOK、看哪里）。仅从摘要判断：条件化视觉 grounding（attention conditioned on reasoning state）属于"轻量改动 + 大收益"路线。
  • 与 OpenFlamingo / Otter / V / Visual ChatGPT 那一代"工具式调用视觉"不同，TVI-CoT 不需要外部工具，是内生的 control token*，训练与推理一气呵成。

2.3 主要问题 / 风险

  1. 评测层面：8 个 benchmark 全是 MLLM 经典榜（MMMU、MathVista、MathVerse、ScienceQA、MMStar、MMVet 等），没有覆盖长视频、GUI agent、机器人具身等真实长尾场景；这种榜单 SOTA 的"边际收益"已多次被同行质疑（见 2026-06-18-Expense-of-Seeing-multimodal-evaluation-critique）。
  2. 调用次数未披露：如果推理时 触发频率过高，等价于"反复扫图"，延迟与 token cost 是否仍可控需要看代码 release 后的实测。
  3. 训练数据偏差：控制 token 的监督信号来源（人工标注 vs 自动挖掘）未在摘要中说明，可能影响对 OOD 任务的迁移。
  4. 是否依赖闭源 VLM backbone：未在摘要确认 base model，需在 PDF 中确认（猜想仍是 Qwen2.5-VL / InternVL 一类）。

2.4 可信度判断

  • 方法可信度：中-高。问题定义清晰、解法自然、控制 token 设计有可解释性；与已有的 Set-of-Mark / V* 视觉提示工作一脉相承。
  • 结果可信度：中。增量明显（+3~+6），但缺少失败 case 与消融的"何时不工作"分析，论文中应有但精读摘要不够。
  • 复现难度：中-高。需要训练控制 token 的能力对算力有要求，依赖代码 release（7 月）。

2.5 入库建议

  • 建议入库，路径建议：
  • notes/2026-06-28-TVI-CoT-notes.md：方法 + 控制 token 设计 + benchmark 增量
  • reviews/2026-06-28-TVI-CoT-review.md：正式短审稿
  • 与 notes/2026-06-19-VaLR-vision-aligned-latent-reasoning 形成 latent vs interleaved 对照主题：一个是隐式 latent 推理，一个是显式 interleaved 推理；可作 topics/multimodal-reasoning-control-flow.md 主题页基础。

3. PRCO（Seeing with You, arXiv 2603.28618 v2）轻精读

3.1 核心贡献

  • 问题定义："credit blur"——RLVR 用单一 final-answer 奖励同时优化 perception 和 reasoning，导致 reasoning 模式被强化而 upstream visual evidence 提取不稳定（perception bottleneck）。
  • 方案：PRCO（Perception-Reasoning Coevolution）。
  • 双角色共享同一 policy：Observer 生成问题导向的 evidence caption，Solver 在 caption 上预测答案。
  • 角色特定奖励：Solver 拿 final-answer 可验证奖励（与 GRPO/RLVR 一致），Observer 拿下游效用奖励（即 Solver 是否因为这条 caption 答对了）。
  • 实验：8 个多模态 reasoning 基准，平均 +7 分跨模型规模，超越现有开源 RL-tuned baselines。
  • 元信息：21 页、15 图、6 表，2026-04-09 v2。

3.2 方法拆解

  • 形式上是"共享 policy + role-conditioned reward"，实现上可以借力：
  • System prompt / role token 切换 Observer/Solver；
  • GRPO/PPO 框架在两条 reward 上分别计算 advantage。
  • Observer 的"utility reward"是关键创新：把"这条 caption 有没有让 Solver 答对"作为感知质量信号，绕过 hand-crafted perception reward。
  • 与 Chain-of-Spot / Visual CoT 那种"先生成区域描述再回答"的 pipeline 不同，PRCO 是端到端 RL 训练，没有显式中间监督。

3.3 主要问题 / 风险

  1. 共享 policy 的角色冲突：Observer 和 Solver 用同一组参数，role 切换是否会带来表示混淆？需看消融（论文 21 页应有，但精读摘要未触及）。
  2. utility reward 的方差：Observer 的奖励完全由 Solver 的对错决定，Solver 错误的题目对 Observer 训练信号接近 0，可能造成训练不稳定 / 偏科。
  3. 8 个 benchmark 的覆盖：与 TVI-CoT 类似，仍是 MLLM 经典榜，缺少 GUI / 视频 / 具身 / 长文档等真实任务。
  4. 可比性：声称超越"现有开源 RL-tuned baselines"——需要明确是 R1-V / MM-Eureka / Vision-R1 中的哪一组，避免 cherry-pick。

3.4 可信度判断

  • 方法可信度：中-高。思路清晰、奖励设计有理论直觉（credit assignment 经典问题），可落地在现有 GRPO 框架上。
  • 结果可信度：中-高。+7 平均、跨模型规模一致提升，说明不是某个 base model 的过拟合。
  • 复现难度：中。代码 release 状态未在摘要中确认，需要搜 GitHub/作者主页。

3.5 入库建议

  • 建议入库，路径建议：
  • notes/2026-06-28-PRCO-notes.md：双角色 + 角色特定奖励设计
  • reviews/2026-06-28-PRCO-review.md：正式短审稿，重点对比 R1-V、Vision-R1、MM-Eureka
  • 与 notes/2026-06-20-SCPO-cultural-reward-model 形成 奖励设计主题：SCPO 是文化维度的偏好奖励，PRCO 是感知/推理双角色奖励——可作 topics/RLVR-reward-design.md 主题页基础。

4. 对照判断（核心）

维度 TVI-CoT PRCO
痛点 vision-blind reasoning credit blur in RLVR
解法层面 推理时 control token 训练时 role-specific reward
控制流 显式（//） 隐式（Observer/Solver role 切换）
奖励设计 未涉及 RL 奖励细节 role-specific（outcome + utility）
推理开销 + 触发的额外视觉 attend 双角色 forward，单次推理不变
实验规模 8 个 benchmark 8 个 benchmark，平均 +7
复现门槛 中-高（等 7 月代码） 中（依赖 GRPO 框架）
工程可落地性 高（推理侧控制） 中（训练侧协同）
与今天覆盖互补 与 VaLR 互补（latent vs interleaved） 与 SCPO 互补（perception vs cultural 奖励）

组合建议：两篇同时入库，可形成一条"多模态推理增强可解释控制"的 miniline——TVI-CoT 处理"何时再看图"，PRCO 处理"什么 caption 才算好的视觉证据"。两者放在一起读，恰好把推理时控制与训练时奖励两端都覆盖。

5. 待补查清单

  • [ ] TVI-CoT：7 月代码 release 后，验证 触发频率 / 推理延迟 / 训练数据来源。
  • [ ] TVI-CoT：补充 ablation 中"控制 token 数量""视觉 grounding 头结构"的关键超参。
  • [ ] PRCO：确认代码仓库与 baseline 选择（R1-V / Vision-R1 / MM-Eureka 具体哪几个）。
  • [ ] PRCO：补充 Observer 奖励方差分析 / 失败 case。
  • [ ] 主题页：topics/multimodal-reasoning-control-flow.md（TVI-CoT vs VaLR）和 topics/RLVR-reward-design.md（PRCO vs SCPO）的初稿。

6. 结论

  • 核心贡献：TVI-CoT 给出"显式视觉介入推理"的可控控制流；PRCO 给出"角色特定奖励解 credit blur"的训练流。两者加起来，把"多模态 CoT 应该长什么样"这个问题从推理时和训练时两端各自推进了一步。
  • 主要问题：都依赖 MLLM 经典榜，缺长尾/真实任务评测；TVI-CoT 推理开销、PRCO 奖励方差都需进一步说明。
  • 可信度：方法中-高、结果中-高、复现中。
  • 是否建议入库：是。
    建议路径：
  • notes/2026-06-28-TVI-CoT-notes.md
  • reviews/2026-06-28-TVI-CoT-review.md
  • notes/2026-06-28-PRCO-notes.md
  • reviews/2026-06-28-PRCO-review.md
  • topics/multimodal-reasoning-control-flow.md（TVI-CoT vs VaLR）
  • topics/RLVR-reward-design.md（PRCO vs SCPO）
  • 后续验证动作：等 7 月 TVI-CoT 代码 release；核对 PRCO baseline 集合；本周消化进 multimodal-weekly-digest。