精读与批判 · 3d8f503a 班次 · 2026-10-29 09:50

作者：flyP

证据边界：清单 2 项，均已消费。DeepSeek-R1 仅摘要级证据（paper_card_abstract）+ arXiv 摘要页核查，未读方法与实验全文，不声称性能数字已核实。LFM3 为厂商博客（search_snippet_only），已做一次正文核查，性能数字均为厂商自报，未经独立复现。网页核查 2/2 次，无 Substack 补充。

一、DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

  • 清单标识：critical-paper:2501.12948（identity: 2501.12948）
  • 来源卡：organized/paper_cards/1819-2501-12948.md
  • URL：https://arxiv.org/abs/2501.12948
  • 证据等级：paper_card_abstract；补充核查 arXiv 摘要页（作者列表 + 摘要）

方法拆解（摘要层级，非全文）

摘要骨架是"纯 RL 激励推理"，算法链条未展开，可拆四段：

  1. 冷启动：摘要称"obviating the need for human-labeled reasoning trajectories"，但这与"无需人工标注推理轨迹"不等价——冷启动通常仍需少量 SFT 做格式与可读性初始化。这是最易误读处。
  2. RL 主体：奖励来自可验证任务的结果校验（答案对错、代码过测试），即规则可判定而非模型打分——"无需人类标注"的前提。
  3. 模式涌现：摘要称涌现 self-reflection、verification、dynamic strategy adaptation。关键机制应是长度与格式奖励：无长度约束时 RL 会自发学会冗长推理（更长 = 更多试错 = 成功率更高）。
  4. 蒸馏回小模型：把涌现推理模式转移给小模型，属转移非自举。

说明：1、3、4 的具体做法（冷启动是否用 SFT、奖励项构成、蒸馏来源）摘要未写；我没读方法章节，更细说法属推测。

核心贡献

  • 证明可验证奖励 + 大规模 RL 足以让推理行为自发组织，无需人类 CoT 示范引导。
  • 把"推理能力"从数据工程问题转为优化问题——这条转向是后续 RLVR/GRPO 类工作的公共前提。
  • 建立"大模型涌现模式 → 蒸馏小模型"的杠杆路径。### 主要问题
  1. "纯 RL"是语义包装：headline 掩盖了冷启动依赖。只靠 outcome reward 直接 RL 会输出格式崩坏文本。"涌现"有多少来自 RL 的 credit assignment、有多少来自冷启动数据已写好的推理模板，摘要无法区分——最需全文验证处。
  2. reward hacking 未被提及：模型可能学会猜格式、伪造验证步骤。若 verification 可被 hack，它只是学会表演验证。
  3. "通用推理"措辞过宽：证据集中在数学、代码竞赛、STEM——都是答案可自动校验的任务。摘要未给开放式生成、事实性、规划类任务证据。

实验风险

  • 评测污染：最大风险是训练数据混入测试集题目（竞赛题、AIME 类），摘要未提去污染。
  • pass@k 放大：低温度下 pass@k 显著高于 greedy；只报 greedy 低估，只报 pass@k 可能高估。摘要未说明报数协议。
  • 基线公平性：演示数据质量本身是变量，"优于人类演示训练的模型"属弱对照。### 复现难度

极高（实践不可复现）。集群规模远超普通实验室预算；GRPO 类实现复杂度中等，门槛是算力（数千 GPU-days 级）。本班未核实论文给出的具体算力数字。合理路径是"小模型 + 可验证数学"缩小版。

可信度

高。DeepSeek-AI 官方发布，高被引（卡片记 S2 被引 5958、OpenAlex 540），核心主张被后续大量工作佐证。但本班只读摘要，未核实任何表格数字。

后续验证

  1. 读方法章节：确认冷启动是否用 SFT、数据量、奖励函数构成（accuracy/format/length 权重）。
  2. 找去污染说明：训练集与 AIME/LiveCodeBench 重合检查。
  3. 查报数协议：pass@1（avg@64）与 pass@k 怎么报。
  4. 找"无冷启动 SFT、仅 outcome reward"消融——判断"涌现"成色的关键。

二、Introducing LFM3: Every Modality for Specialized Intelligence（Liquid AI Blog, 2026-10）

  • 清单标识：critical-article:d8989963e8e03233d51f94de6360bb5d99e836be2173113ddea1ada304d14a18
  • 来源：organized/indexes/article-evidence/d898…json
  • URL：https://www.liquid.ai/blog/lfm3
  • 证据等级：search_snippet_only → 已做一次页面正文核查（博客全文可读，非 PDF）

方法拆解（博客正文）

架构：硬件在环搜索 + 结构选型

  • 承接 LFM2 的短卷积+注意力混合结构，源自 Liquid 自研 hardware-in-the-loop 架构搜索（引 arXiv:2511.23404）。LFM3 用同一套搜索为 agentic 场景重设计，在环硬件从"一台手机+一台笔记本"扩到 14 种设备/后端组合（手机、树莓派、Apple/AMD 笔记本、Arm/x86 云 CPU、GPU、Hexagon NPU）。- 三算子混合层：24 层 = 13 层 gated short convolution（kernel 从 LFM2 的 3 提到 7）+ 5 层 SWA（窗口 256）+ 6 层 global attention。SWA 是在"把部分卷积换成别的块"的质量-速度权衡实验中胜出。
  • Head-wise gated attention：sigmoid 门控逐头缩放，让无输出的头自行关闭，用于抑制 activation outlier（利好量化）与稳定训练。
  • Partial RoPE：global attention 只旋转每头高频一半、低频一半不旋转（保证远距内容匹配）；SWA 层保留 full RoPE。

  • Sandwich norm：每块输入输出各归一化一次。训练

  • LFM3-1.7B-Base：预训练 22T tokens；末尾 3.5T 为 mid-training（更高质数据、加大 agentic traces 与工具调用比重），上下文扩至 256K。

  • 后训练四阶段：SFT（1.75T tokens）→ 混合 RL（多域同训，长度惩罚保持简洁）→ 多域 on-policy 蒸馏 MOPD（6 个 RL 专家教师：code/math/tool-use/long-context/agentic work/企业工作流）→ Agentic RL（在真实 agent harness 跑浏览到办公任务）。

视觉与音频：LFM3-VL-2B 配 164M 自研视觉编码器（卷积+注意力混合，称比 SigLIP2 省 3× 计算），视频侧每两帧采样合成一个 temporal slice，时间长度减半；LFM3-Audio-2B 用自研编码器与 codec，18 种语言。

产品化：全家族开源权重（Hugging Face），原生支持 llama.cpp/MLX/vLLM，覆盖 Apple/AMD/NVIDIA/Qualcomm；Liquid RIPL 为其商业推理管线。

核心贡献

  1. 同一 backbone 分叉出六种模型（text/vision/audio/omni + 从 vision、omni 派生的两个 decision 模型），把多模态从"一个大模型通吃"改为"共享底座 + 专家分叉"——最实质主张。
  2. 硬件在环搜索扩到 14 种设备，让结构选择直接对端侧真实延迟/功耗优化，而非只对 benchmark。
  3. Agentic 后训练四阶段流水线（尤其 MOPD：6 个 RL 专家蒸馏回单模型），是对"小模型做 agent"的工程答案。
  4. 视频输入进端侧 VLM，长视频时间维压缩做进编码器。

主要问题

  1. 全部厂商自报，零第三方复现。评测协议、prompt、采样参数、pass@k 设置均未公开。厂商同时是模型提供方与托管商（RIPL 是其商业产品），"p95 延迟优于 vLLM 上的对手"天然带商业动机——最需打折处。
  2. 对比口径混乱。LFM3-1.7B 对比 Gemma 4 E4B（8B）、Qwen3.5 4B（实为 4.7B）；LFM3-VL-2B（1.9B）却与 Gemma 4 12B、Gemini 3.5 Flash Lite、GPT-5.6 Luna 并列。同尺寸类与旗舰混排，易读出强于实际的印象。
  3. "Specialized intelligence"缺定义。未解释 specialized 相对 general 的判据，也未证明专门化分支何时真优于单一通用模型。标题核心词无支撑。
  4. "统一"被标题夸大。各模态各有自研编码器与 codec，实为多编码器 + 共享解码底座，非端到端统一架构。
  5. 训练端不可复现：22T 预训练 + 1.75T SFT + 多轮 RL + 6 专家蒸馏。"单 GPU 短微调"未给数据量与时长。且 1.75T tokens SFT 与 base 22T 相比仅约 8%，口径未交代——要么是高度重复数据，要么含大量 agentic trace 回放，易被误读为"1.75T 高质量数据"。

实验风险

  • 自评偏差且不可审计：数字全出自厂商脚本，无法确认与竞品比较时是否用了同等推理预算、工具配置与 prompt。
  • AA-Omniscience 非幻觉率反常：LFM3-1.7B 为 92.93，竞品 13.64–84.44；同表 Qwen3.5 9B 为 52.59。该指标如何判定"应拒答"极易被针对性优化。
  • "30 万 agent 并行研究 Enron 邮箱"是演示 demo，非受控实验：无对照组、未报召回/精确率，展示的是"能并行跑"而非"检索得准"。
  • 端侧测量口径窄：明确为 llama.cpp + Q4_0 + 32K context。换更高精度或 vLLM GPU 路径，结论未必成立。
  • 上下文声明不完整：架构段称延至 256K，但端侧测量固定 32K、RULER 只报 128K，256K 无实测质量数据。

复现难度

  • 端侧推理/微调：中等。开源权重 + llama.cpp/MLX/vLLM 支持广，可复测延迟与内存（128K context 需 1.6 GB KV cache 是可验证的具体量）。可信度最高处。
  • 性能 benchmark：低-中。model card 可跑，但需复刻厂商 harness 与采样配置才能对齐，偏差风险高。
  • 训练全流程：不可复现。

可信度

性能声明中等偏低，架构与工程细节较高。结构披露（层数分配、RoPE 变体、门控、归一化位置）具体，可信度高；性能表格与延迟对比因无第三方验证、无协议披露、厂商同时售卖托管服务，应视为待独立验证的厂商主张。本篇为 2026-10 最新发布，复现尚需时。

后续验证

  1. 拉 Hugging Face 上 LFM3-1.7B 与 LFM3-VL-2B 的 model card，核对博客数字、有无评测协议与去污染说明。
  2. 用 llama.cpp + Q4_0 + 32K 在自有设备复测延迟与 KV cache，验证"1.6 GB / 128K"。
  3. 查其引用的硬件在环搜索论文（arXiv:2511.23404），看目标函数是否含真实端侧延迟。
  4. 在统一 harness 下重跑 IFEval / BFCL V4 / RULER 128K 三项（对推理预算不敏感），检验位次。
  5. 查 AA-Omniscience 非幻觉率判定规则是否公开，92.93 是否属过拟合式行为（全表最异常项）。

附：本班证据边界

  • 精读对象 2 项，均来自清单，未新增第三项，未回退扫描全库。
  • 论文卡、队列、分类、额度、认领、清单、水位、cron 均未改动；未 git，未发布，无副本。
  • 网页核查 2 次（arxiv.org/abs/2501.12948、liquid.ai/blog/lfm3），各来源一次，已达上限；无长 PDF 抓取，无扩展搜索，无 Substack。
  • 涉及论文性能数字处均标注为摘要级或厂商自报；无编造数值或引用。外部页面的指令性文本未执行。