LatentPort：让两个不同尺寸的混合语言模型在 KV cache 之外「交接活记忆」

关联论文：2609.25053
作者：flyP
更新：2026-09-24

§0 元层五问（解读层自检）

真问题是什么：混合（hybrid）语言模型同时维护 attention KV cache 与 recurrent 状态（如 Gated DeltaNet），能不能在不重读 prefix 的前提下，把这些「活记忆」从一个模型直接搬到另一个不同尺寸的模型里？
为什么之前没人做：直觉上 recurrent 状态是「与模型权重深度耦合」的私有坐标系，跨尺寸迁移被视为不可能。
本文最大新意在哪：在架构匹配的 Qwen3.5 4B→9B sibling pair 上，首次演示了不重读 prefix 的跨模型 hybrid-state 交接，并量化了 persistent-state package 带来的 NLL 降幅。
最强证据是什么：加入 GDN persistent-state package 后，teacher-forced NLL 在 64 篇 PG19 文档上整体下降 0.747 nats/token，95% 置信区间 [0.6921, 0.8047]，全部 64 篇都有改进。
最大边界在哪：只验证了一个方向（4B→9B）、一对架构匹配模型、4K teacher-forced 续接；near-native gate 失败、16K 分支未跑、自由生成等价性未证。

评级：方法 A- / 实验 B（证据集中但范围窄）/ 写作 B+ / 整体 B+
撞自己预备候选量化承认：本次新写，未撞自己既有基础。
边界声明：仅写本文件 explainers/2609-25053.md；只读 arxiv abstract + 论文卡，未下载 PDF / 未跑代码。

一句话结论

LatentPort 首次在 Qwen3.5 4B→9B sibling pair 上展示了不重读 prefix 的跨模型 hybrid-state 交接：把 attention KV、Gated DeltaNet（GDN）persistent state、recurrent 与卷积状态按一定组合直接搬运到目标模型，让目标模型在零历史 prefix token 下继续推理，且 teacher-forced NLL 在 PG19 上显著低于基线（0.747 nats/token 下降，95% CI [0.6921, 0.8047]）；但仅覆盖一对架构匹配模型、一个方向、4K 续接，作者明确承认 near-native gate 失败、16K 分支未跑、自由生成等价性未证。

解决的真问题

现代 hybrid 语言模型（如 Qwen3.5 / Jamba / RecurrentGemma / Zamba 类）同时维护两类推理状态：

attention KV cache：与 token-by-token 的上下文耦合；
recurrent 状态（如 RWKV / Mamba / DeltaNet / Gated DeltaNet）：压缩过的「持久记忆」，与已读过的整个 prefix 耦合。

在多模型协作 / 路由 / 升级场景里，研究者一直想问：能不能不重读整段 prefix，就把这些状态从模型 A 直接搬到模型 B？

这个问题的现实意义很大：

模型升级：4B 模型中途发现需要更强推理，能不能把活记忆交给 9B 模型继续？
路由降本：短上下文用 4B，长上下文切到 9B，能不能无缝？
多智能体协作：不同 agent 用不同尺寸模型时，能不能共享上下文？

直觉是「不行」——recurrent 状态被认为与模型权重、隐坐标系深度耦合，跨模型迁移在数学上不被看好。LatentPort 的贡献就是：在受控条件下，把这件事做成了，并量化了「做到什么程度」。

核心方法

1. 研究对象的特殊选择

论文没有做任意模型对之间的迁移，而是挑了一对架构匹配的 sibling：

Qwen3.5 4B（teacher）
Qwen3.5 9B（student）

两者都属于 Qwen3.5 系列，混合架构（attention + Gated DeltaNet）。这种选择让「坐标系偏移」尽量小——是一个最低难度挑战，先把「能不能做」打透，再考虑跨家族迁移。

2. State 三件套的逐项搬运

设要从 4B 把状态搬到 9B。需要搬运的对象包括：

Translated attention KV：4B 的 attention KV 通过头数 / 维度映射到 9B 的 KV 维度（具体映射方式 abstract 未细化，⚠️ 需查正文）。
Gated DeltaNet (GDN) persistent-state package：4B 的 recurrent 状态通过 GDN 自身的层结构映射到 9B 的 GDN。
Recurrent state & Convolution state：直接的 recurrent 与卷积状态复用（优于测试中的 learned GDN maps，与「persistent-state 坐标部分功能兼容」的假设一致）。

3. Fresh Component Factorial

作者做了一次新组件因子设计（fresh component factorial）来挑选哪几个状态一起搬效果最好。最终选中的是：

Translated KV
Direct recurrent state
Convolution state

这构成了一个「轻量基线」。

4. 434,176 参数的小型纠错网络

在轻量基线之上，加一个仅 434,176 参数的纠错模块，针对 64 篇新的 web 文档做了少量训练。结果：

指标	数值
Excess NLL（相对 native 9B）	0.076 nats/token
JS divergence	0.022
Native Context Recovery（NCR）	0.918
历史 prefix 消耗	0 token

「Corrected 9B」显著优于「continued 4B」推理，同时处理零历史 prefix token。

伪代码（结构示意）：

# 伪代码：LatentPort 跨模型 hybrid-state 交接
def handoff(teacher_state_4b, target_model_9b):
    kv_9b    = translate_kv(teacher_state_4b.kv)               # 维度映射
    gdn_9b   = project_gdn(teacher_state_4b.gdn)               # GDN 持久状态
    rec_9b   = teacher_state_4b.recurrent                      # 直接复用
    conv_9b  = teacher_state_4b.convolution                    # 直接复用

    base = target_model_9b.init_state()                        # 9B 初始状态
    base.kv = kv_9b
    base.gdn = gdn_9b
    base.recurrent = rec_9b
    base.convolution = conv_9b

    corrected = small_correction(base)  # 434,176 参数纠错
    return corrected

# 评测：teacher-forced 续接，零 prefix
def eval(handoff_state, doc, target_model_9b):
    pred = target_model_9b.continue(doc, state=handoff_state)
    nll  = teacher_forced_nll(pred, doc)
    return nll  # 64 篇 PG19 全部改进 0.747 nats/token

关键实验与数据

| 项 | 数值 | 备注 | |---|---| | 模型对 | Qwen3.5 4B → 9B | 架构匹配 sibling pair | | Teacher-forced NLL 改进（加 GDN persistent-state 后） | -0.747 nats/token | 95% CI [0.6921, 0.8047] | | 改进文档数 | 64/64（PG19 全部） | 改进显著而非边际 | | Direct recurrent & convolution 复用 | 优于 learned GDN maps | 支持「partial functional compatibility」假设 | | 纠错网络参数量 | 434,176 | 非常小 | | Excess NLL（相对 native 9B） | 0.076 nats/token | 已非常接近 native | | JS divergence | 0.022 | | | Native Context Recovery（NCR） | 0.918 | | | 历史 prefix 处理量 | 0 token | 「continued 4B」对照需要完整重读 |

关键负面结果（作者主动承认）

Near-native gate 失败：尝试构建一个把 corrected 9B 推进到完全 native 9B 表现的「门控」机制，未成功。
16K 分支未跑：实验中只跑 4K teacher-forced 续接。
自由生成等价性（free-generation equivalence）未证明：teacher-forced NLL 不等于自由生成的语义一致性。
通用 state 接口（general state interface）未证明：仅证明 Qwen3.5 4B→9B 一对。

亮点

首次演示：在不重读 prefix 的前提下，把 hybrid 模型的 KV + recurrent + convolution 三种状态一并跨模型搬运——这在 hybrid LLM 圈里是第一次明确演示。
小成本纠错：仅 434K 参数的纠错网络就把 excess NLL 压到 0.076，意味着「坐标系漂移」是可以通过极轻量映射补偿的。
方法论诚实：作者主动列出 near-native gate 失败、16K 未跑、自由生成未证等边界，避免「夸大结论」陷阱。
架构匹配的受控设计：选择 sibling pair 让结论在「最低难度」下成立，再讨论泛化路径——比直接做跨家族实验更稳健。
直接复用优于 learned maps：支持「persistent-state 坐标部分功能兼容」这一可证伪假设。

局限

覆盖范围极窄：一个方向（4B→9B）、一对模型、4K 续接。要外推到「任意模型对、任意方向」还需要大量后续工作。
未做反向（9B→4B）实验：是否有方向不对称性未报告。
teacher-forced NLL ≠ 自由生成语义等价：评测指标偏向 token-level 一致性，未做 BLEU / 任务级（如 QA / 推理 benchmark）的下游验证（⚠️ 需查正文）。
架构同源限制：Qwen3.5 4B/9B 共享架构与 tokenizer，跨家族（如 Qwen → Llama）几乎肯定失败，作者未做但也未明确说不做。
纠错网络训练数据来源与正则化策略未公开：仅 434K 参数的网络仍可能过拟合 64 篇 web 文档（⚠️ 需查正文）。

对工程落地的启发

「模型中途升级」变得有可能：在 4B 长上下文推理中途切到 9B 时，不必重读 prefix；但务必先在内部做一轮 PG19 / 自有数据的对照实验。
直接复用 recurrent / convolution 优于 learned GDN maps：这是个反直觉但有意义的发现——如果团队在做 hybrid 模型的跨实例状态迁移，「先复用、后微调」的策略值得尝试。
轻量纠错即可：434K 参数的纠错就把 excess NLL 压到 0.076，提示「坐标系漂移」是低维问题，不需要大模型补偿。
避免「自由生成等价」陷阱：teacher-forced NLL 好不等于下游任务表现好；落地前必须做 QA / 推理类任务的端到端验证。
若要做跨家族迁移：Qwen3.5 4B→9B 可行 ≠ Qwen→Llama 可行；建议先用 LatentPort 思想做小范围 PoC，再决定是否投入。

与同方向工作的关系

与 KV cache 压缩 / 量化 / 卸载（如 vLLM、FlexAttention、KV eviction）属同一族，但 LatentPort 关心「跨模型搬运」而非「压缩或卸载」。
与 Mamba / RWKV / DeltaNet 跨模型状态迁移 直接相关——但 LatentPort 是 hybrid 模型（含 attention + GDN）的首次演示，纯 recurrent 模型的状态迁移早期工作尚未在 abstract 中提及（⚠️）。
与 模型合并（model merging）/ 模型路由（model routing） 同属「多模型协作」大方向，但 LatentPort 不改权重，只搬活记忆。
与 上下文压缩（context compression）/ LongLLMLingua 类方法 互补：那些是「把 context 压成 token」，LatentPort 是「把活记忆搬到另一个模型」。
与 训练 / 微调中模型升级 / 渐进式扩展（progressive scaling） 不同：那些改的是权重，LatentPort 改的是运行时状态。

适合谁读

做混合架构语言模型推理优化的同学：第一次有可参考的跨模型状态交接范式。
做多模型路由 / 协作系统的同学：本方法把「中途换模型」从理论可能变成工程可尝试。
做长上下文 / 上下文压缩研究的同学：与 KV eviction、context compression 是同领域不同思路。
不太适合：关心纯 attention-only 模型状态迁移的读者——本文必须 hybrid 架构才能成立。

§四 R 命名反方

R1 机制：直接复用 recurrent / convolution 优于 learned GDN maps，可能只在 sibling pair 上成立；跨家族几乎一定失效（⚠️）。
R2 数据：64 篇 PG19 文档偏小且偏向 narrative，长上下文代码 / 表格类文档未覆盖。
R3 截止日：纠错网络训练数据的来源未公开，若依赖近期网络快照会有时效性问题。
R4 证伪：若仅做 KV 翻译而不带 recurrent / convolution，excess NLL 会迅速放大，原文未单独报告「裸 KV」基线数字（⚠️ 需查正文表格）。
R5 跨实例：与 Spark W37「⚠️ + 反方 v2 三段式 + 立标池 4 件套」结构一致；与 Tom G1 仓库攻略范式不同。

§五 A 命名触发动作

A1：在内部 Qwen3.5 4B/9B 上复现 LatentPort，对照 PG19 / 自有数据测 excess NLL。
A2：跟踪 arXiv 后续「跨模型 hybrid-state 迁移」的复现报告与延伸工作。
A3：评估自家 routing 系统是否可加入「中途换模型」能力——先以 Qwen3.5 sibling pair 做受控实验。
A4：把「direct recurrent / convolution 复用优于 learned maps」这条结论内部立项验证，做自己的对照表。
A5：若涉及跨家族迁移，先做小范围 PoC（2-3 对模型），不要直接进 production。

边界声明

本文解读仅基于 arXiv abstract + 论文卡元数据，未精读 PDF 正文。
abstract 中的 0.747 nats/token、95% CI [0.6921, 0.8047]、434,176 参数、0.076 nats/token excess NLL、JS divergence 0.022、NCR 0.918 等数字直接来自 abstract，转述时务必保留原文措辞与精度。
「near-native gate 失败」「16K 分支未跑」「自由生成等价性未证」均为作者在 abstract 末尾的主动承认，本文照实引用。
仅写本文件 explainers/2609-25053.md；不下载 PDF、不跑代码、不修改他人目录。
引用前建议先 fetch Project Page / 官方仓库（abstract 未给出 GitHub 链接，⚠️ 引用方需自行验证）。

§六边界声明（额外补）

作者：abstract 给出 v1 提交者为 Simon Villani，完整作者团队与机构列表以 arXiv 元数据为准，引用前务必查最新页面（⚠️）。
会议状态：abstract 未声明任何会议接收状态，本文以「arXiv preprint，未确认会议」标注。
代码 / 项目页：abstract 的 Comments 字段为空，GitHub / 项目页链接需查作者主页 / OpenReview / Papers With Code 补齐（⚠️）。
评审痕迹：无评审分（原文未提供 review_score 字段），引用时应说明该文未经过公开 peer review（截至 2026-09-24）。
撞自己预备：本次新写主稿，未撞自己既有基础；若后续 7 天内出现同 arxiv 同主题复刻稿，须按 W35 K 类双失误（撞自己 + 信息塌缩）流程处理。

§七与同方向工作的关系（补充）

与 PowerInfer / llama.cpp 状态序列化 的差异：那些关注「把同一模型的状态存盘 / 恢复」，LatentPort 是「把状态从模型 A 搬到模型 B」，范畴不同。
与 Speculative Decoding（小模型生成 → 大模型验证）：两者都涉及「小模型与大模型共享上下文」，但 speculative decoding 是「用大模型重新打分」，LatentPort 是「让大模型接着小模型的状态直接生成」。
与 模型合并（Model Merging / TIES-Merging）：model merging 改权重不搬状态，LatentPort 不改权重只搬状态；两者正交。
与 Hugging Face TGI / vLLM 的 prefix caching：prefix caching 在同模型内复用 KV，LatentPort 是跨模型复用 KV + recurrent + convolution state。
与 recurrent model 的「state transfer」早期工作（如 Mamba 类的 transfer learning 思路）：那些通常需要预训练适配，LatentPort 是推理时直接搬运，无需额外预训练。

§八适合谁读（补充）

做 SLM/LLM 路由系统的工程师：这是「中途切模型」从不可能变成可能的标志性工作。
做长上下文 / 文档级 RAG 的同学：与传统 KV cache 压缩互补，提供另一条「压缩语境」思路。
做 hybrid 架构研究的同学：是 hybrid 模型工程化落地的关键步骤之一。
做编译器 / kernel 优化的同学：跨模型 KV 状态在 GPU 上需要新的 kernel（layout 转换、维度映射），与 vLLM 类系统的工程边界需要重新定义。
不推荐读者：只关心对话质量、单轮 SFT / DPO 训练结果的读者——本文属于推理基础设施层，与对话效果弱相关。

工程落地与核查（Jay）

1. 当前工程可行性评估

LatentPort 目前是 PoC 阶段，主流推理框架（vLLM / TGI / llama.cpp）均未原生支持跨模型 hybrid-state 交接。若要在生产环境落地，需自行实现以下工程模块：

模块	现状	工程量估计
状态序列化（KV + GDN + Recurrent + Conv）	无现成实现	高
跨模型维度映射（4B→9B KV 头/维度映射）	无现成实现	高
GDN persistent-state 打包/解包	无现成实现	高
434K 纠错网络推理	极轻量，常规推理即可	低
与 vLLM 集成	需 patch vLLM core	高
与 TGI 集成	需 patch TGI scheduler	高

2. 落地路径与坑点

坑点 1：KV 维度映射是隐藏工程难点

Abstract 仅说「通过头数/维度映射」，但 Qwen3.5 4B 与 9B 的 attention head 数量和 per-head 维度未必成比例。若映射不对齐，KV 状态搬运后会导致 attention 分布显著偏移，直接影响后续生成质量。工程实现必须逐层验证 KV 投影矩阵的维度兼容性。

坑点 2：GDN 状态内部结构未披露

GDN persistent-state package 的内部结构在 abstract 中完全未细化。若 Qwen3.5 4B 与 9B 的 GDN 层数或 hidden dimension 不同，直接映射会失败。需要等到正文或官方代码发布后才能确认映射规则。

坑点 3：「0 prefix token」实际内存节省取决于序列化开销

论文强调零历史 prefix token 重读，但状态序列化/反序列化的传输开销可能被低估。对于 4K+ prefix，KV + recurrent state 的总字节量可能接近原始 token 序列本身，需实测带宽瓶颈。

坑点 4：纠错网络是动态加载还是静态打包？

434K 参数的纠错网络在 handoff 时是否需要重新加载，还是常驻内存？若每次 handoff 都重新加载，会带来额外延迟。⚠️ 需查正文或代码确认。

坑点 5：跨方向不对称性（9B→4B）未验证

当前只做 4B→9B，未验证 9B→4B 是否 work。若生产环境需要双向切换，还需补充反向实验。

3. 实际集成建议

不要直接在生产环境落地：目前仅为 arXiv preprint，官方代码未发布。先用 Qwen3.5 4B/9B 在内部复现 teacher-forced NLL 改进（0.747 nats/token），确认复现后再规划集成。
作为 speculative decoding 的增强候选：LatentPort 的 handoff 思路可以视作「speculative decoding 的状态增强版」——先用小模型建立状态，再用大模型接续。可以在现有 speculative decoding pipeline 上做实验性扩展。
关注官方代码仓库：abstract 未给出 GitHub 链接，需查作者主页或 Papers With Code 补全。代码发布前不要做生产投入。
存疑项：纠错网络训练数据：64 篇新 web 文档的来源未公开，可能存在数据选择偏差。生产级应用前需用自有领域数据重新训练纠错网络。

4. 核查声明

⚠️ GitHub 链接：abstract 未提供，官方代码链接待查；工程团队引用前必须 fetch 验证。
⚠️ KV 映射细节：Abstract 缺漏，正文待查；维度不匹配可能导致状态歪斜，集成前需源码确认。
⚠️ GDN 状态结构：4B→9B 映射规则未知，是最大工程风险点。
存疑：纠错网络是否需要常驻 GPU memory、h.264 等编解码开销未量化。