- 日期:2026-07-14 R2
- arxiv 链接:https://arxiv.org/abs/2603.15569
- video-kb 脚本原路径:/shared/video-kb/scripts/tom/2026-07-14_R2_mamba3-ssm-mimo-complex-state-short-video-script.md
1. 标题与观众
标题:Mamba-3 · arXiv:2603.15569 · ICLR 2026 · Princeton Lahoti · SSM 三件套 · trapezoidal + complex state + MIMO · 1.5B +1.8pp · state size 减半 · 7× decode
Mamba-3(arXiv:2603.15569v1 · ICLR 2026 accepted · A. Lahoti et al. (Princeton) · Apache 2.0 · github.com/state-spaces/mamba)把次二次(sub-quadratic)线性序列模型推到新 Pareto 前沿 —— 三项正交可叠加 = exponential-trapezoidal discretization + complex-valued state update + multi-input multi-output(MIMO),1.5B 相比 Gated DeltaNet +0.6pp,MIMO 变体再 +1.2pp = 累计 +1.8pp,同等 perplexity 仅需 Mamba-2 一半 state size,长序列 decode 速度比 Transformer 快 7×,MIMO 不增加 decode 延迟。
3. 45-90 秒口播稿
Mamba-3 一篇 arXiv 论文(arXiv:2603.15569 · ICLR 2026 accepted · Princeton Lahoti et al. · Apache 2.0)拆出次二次序列模型正在发生的转向 —— 一边是 Transformer 的 O(n²) 自注意力 + 线性 KV 内存 · 长上下文 decode 贵 · KV cache 随上下文线性增长。另一边:Mamba-3 用 三项正交改进 同时推进 performance-efficiency Pareto 前沿(脚本作者基于 arXiv:2603.15569 abstract + Princeton blog 语义转述 · 非原文 verbatim)。
改进一 · 更富表达力的 SSM 离散化递推 = exponential-trapezoidal discretization · 平均 t-1 与 t 的 Bx 贡献再 apply state decay · 让递推更像「上下文相关状态机」(类比*)· 比标准 S4 编码更复杂时间依赖。
改进二 · 复数值状态更新规则 = d 维复数 = 2d 自由度 · 相位编码天然适配计数 / 栈 / 模运算 · 不增加 state size 前提下编码更丰富相位信息。
改进三 · MIMO = multi-input multi-output · 复用 D 维 state 给 R 个 rank streams · 训练并行度提升但 decode 延迟不变 · 工程上这是关键杠杆。
数字 verbatim:1.5B 规模 +0.6pp vs Gated DeltaNet · MIMO 变体再 +1.2pp = 累计 +1.8pp · 同等 perplexity 仅需 Mamba-2 一半 state size · 长序列 decode 速度比 Transformer 快 7×(长序列场景 · 硬件条件未披露)。
工业验证:github.com/state-spaces/mamba 一手实现(pip install causal-conv1d>=1.4.0 + pip install mamba-ssm)· Nemotron 3 Super 120B/12B active hybrid Mamba-Transformer MoE(NVIDIA · 1M context)· Soofi S 30B-A3B 1M context 8× throughput · Attention to Mamba Apple 两阶段蒸馏 = 次二次模型已不再是研究玩具。
想看清次二次模型能不能上生产,关注 state size 杠杆 + MIMO decode 解耦 这两条曲线。
4. 镜头分镜
- scene-1 hero(8s)
- 屏幕文字(≤ 23 字符压缩版):Mamba-3 SSM 三件套
- 画面元素:标题卡 + arXiv:2603.15569 标识 + ICLR 2026 + Princeton Lahoti + Apache 2.0 徽章
- 运动方式:标题卡从中心放大进入,徽章 stagger 入场
- scene-2 cards(8s)
- 屏幕文字:二次 vs 次二次
- 画面元素:双路对照卡(O(n²) Transformer + KV 线性 vs O(n) SSM + state 恒定)+ "inference-first" 副卡
- 运动方式:双路 stagger 滑入,关键词副卡从下方淡入
- scene-3 flow(8s)
- 屏幕文字:三项正交改进 + 累计 +1.8pp
- 画面元素:3 卡流程(① exponential-trapezoidal discretization + 平均 t-1 与 t 的 Bx 贡献 ② complex-valued state + d 维 = 2d 自由度 ③ MIMO + 复用 D 维 state 给 R streams)+ 数字卡(+0.6pp → +1.2pp → 累计 +1.8pp*)
- 运动方式:3 卡 stagger 滑入,数字卡累计箭头连接
- scene-4 evidence(8s)
- 屏幕文字:硬指标三连发
- 画面元素:3 张硬指标卡(state size N/2 + 7× decode · 标注「硬件未披露」+ MIMO decode 不变)+ Mamba-2 对比柱状
- 运动方式:硬指标卡逐张揭示,Mamba-2 对比柱从右侧推入
- scene-5 risk(8s)
- 屏幕文字:边界限定语 · 不可全称超越
- 画面元素:4 张风险卡(#01 7× 速度 · 长序列 + 硬件未披露 / #02 +1.8pp 仅 1.5B · 7B+ 待披露 / #03 复数状态 · state-tracking 任务特别有效 · 其他待验证 / #04 Soofi S 8× throughput 仅 4 万 token 区间)
- 运动方式:风险卡逐张滑入,停留 1.5 秒,橙色警示角标
- scene-6 checklist(8s)
- 屏幕文字:今天能带走什么
- 画面元素:3 行 checklist(① 关注次二次模型在长上下文场景的工程落地 ② 关注 state size 杠杆 + MIMO decode 解耦 ③ 关注 SSM+Transformer 混合架构 Nemotron 3 Super + Soofi S)+ 安装副卡(
pip install causal-conv1d>=1.4.0+pip install mamba-ssm) - 运动方式:清单自上而下逐行 reveal,勾选图标逐个点亮
- scene-7 closing(8s)
- 屏幕文字:次二次已不是研究玩具
- 画面元素:主源卡(arXiv:2603.15569 · ICLR 2026 · Princeton Lahoti · Apache 2.0)+ 工业旁证卡(Nemotron 3 Super · Soofi S · Attention to Mamba)+ github.com/state-spaces/mamba 一手实现标识
- 运动方式:主源 + 旁证双层 stagger 收束,仓库链接水印从透明渐显