inference · E1 预消化简报(2026-10-23)

批次：work-guard e627b203-77c1-4f5a-a634-26925ef1b683（E1 预消化 · inference） 处理范围：清单内 8 份 materials（Jay 工程简报 ×3、paper_cards ×2、repo_cards ×2、 blogs/csdn 线索 ×2 已并入 Jay 简报） 已读旧文件（仅供脉络对照，未修改）：organized/knowledge/inference.md、organized/queue/work-queue.md、库内既有攻略 organized/guides/recursive-oss-rec.md（spark，2026-10-23）与 organized/guides/colinhacks-reylo.md（Tom，2026-10-23） 诚实度声明：本批 8 份材料中，构成 inference 主题实质增量 4 条（条目 1–4），复核后无新增观点 1 条（条目 5，MiMo-V2.6），判定主题外排除 1 条（条目 6，reylo），明确不构成增量 2 条（Grafana / Elastic / Zipkin / CSDN 521 / Substack 22 天路线图，均为 Jay 已判定丢弃或无实证）。未联网补料、未全库扫描、未为凑字数补写。

一、今日 inference 主题的重要增量（4 条）

条目 1：NVIDIA Nemotron-3.5-Super-VL-120B-A12B-NVFP4 部署配方（HF Endpoints，vLLM + NVFP4）

  • 来源：inbox/jay/2026-10-23-2105-engineering-brief.md（正文本轮已核实）→ https://endpoints.huggingface.co/new/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4；同一来源另见 inbox/jay/2026-10-23-1950-engineering-screen.md 与 inbox/jay/2026-10-23T1735-blogs-discovery.md（第 2 条）
  • 要点：HF Inference Endpoints 预置 Catalog Recipe，引擎 vLLM、量化 NVFP4，模型版本号明确（Nemotron-3.5-Super-VL-120B-A12B，120B 总参 / A12B 激活），页面标注 "Deployment has been verified by Hugging Face"，支持落地 AWS / Azure / GCP；性能口径为页面自带单次测量：Oct 21 15:29 UTC、8 并发、约 2048 输入 / 256 输出 token，被标为满足全部指标的最重负载档。
  • 与活文档脉络的关系：活文档 §4.2 已有 NVFP4/MXFP4 量化路线（QATFactory，arXiv:2609.39223），但缺"多模态 MoE + NVFP4 托管部署"的现成蓝本；§5.3 的模型卡片段（Tencent Hy3-FP8、HuatuoGPT-3-8B）目前只有"vLLM/SGLang 均可适配"的命令级信息，缺"谁已验证过、负载口径是什么"的托管侧证据。另有一条被忽略的交叉线：活文档 §1.1/§5.6 的 Kapitsa（Apple Silicon 引擎）明确"专为 Qwen 和 Nemotron 优化"，本条把同一 Nemotron 家族补上了服务端一侧——同一模型家族两端落地的对照，可作为"垂直优化引擎 + 托管 recipe"组合的实证锚点。
  • 建议归入：§5.3 部署框架与模型卡片 新增一条 Nemotron 条目，并在条目内交叉引用 §4.2（NVFP4 量化）与 §1.1（Kapitsa 的 Nemotron 定位）。证据边界必须同条保留：单次测量、8 并发、无延迟分位/显存/错误率数据；未与 Qwen / InternVL 同负载对比。

条目 2：recursive-oss/rec —— 单厂商专用本地推理引擎（Apple Silicon）

  • 来源：organized/repo_cards/4572-recursive-oss-rec.md（repo card，首次采集 2026-10-23，Apache-2.0，Python，experimental）；库内既有攻略 organized/guides/recursive-oss-rec.md（spark，2026-10-23，README 已 fetch）
  • 要点：Recursive AI 开源的自家推理引擎，只加载自家 Flint 模型，不是通用引擎；库内攻略记录的 README 口径为「Compared to llama.cpp, rec delivers 1.4–2.6× the token throughput」，测试条件为 Apple M4 Pro (48 GB) + 4-bit 权重 + 1K–252K-token prompt + 1,024 output tokens，每档 5 次运行，prefill 排除在计时外；README 明确 optimized for single-session usage（多 agent 并发不支持），硬件门槛为 M4 Pro / M5 Pro / M5 Max + ≥48GB 统一内存 + 约 30GB 磁盘。
  • 与活文档脉络的关系：活文档 §1.1 的引擎格局目前覆盖"通用型"（vLLM / SGLang / TRT-LLM / llama.cpp / Ollama / LMDeploy）与"单点专用型"（ds4 只跑 DeepSeek V4 Flash）。rec 是第二个"单厂商专用引擎"样本，且路线与 ds4 相反：ds4 是「一个开源模型跑透」，rec 是「一家厂商的模型跑到最快」，通用性进一步收窄。同时它给 §1.4/§1.6 的 Apple Silicon 生态补了一个新的对照点（Kapitsa = 跨模型垂直优化、rec = 单模型极致优化、llama.cpp/MLX = 通用底座）；prefill 排除在吞吐计时外这一条与活文档 §3.4「长 prefill 阻塞成为 RAG 场景一等调度问题」形成直接张力——rec 的 252K 长 prompt 优势恰恰建立在不计入 prefill 的口径上。
  • 建议归入：§1.1 六引擎格局 的"新 entrants"小节补一条（与 ds4 / Kapitsa 并列），并在 §5.6 端侧留一行。必须同条标注的口径：1.4–2.6× 是厂商自测、prefill 排除、仅 M4 Pro 48GB、仅 Flint、仅单会话、experimental、无独立复现。

条目 3：六代理"公司机制"可回放实验 —— 把多智能体协作写成可证伪实验

  • 来源：inbox/jay/2026-10-23-2105-engineering-brief.md、inbox/jay/2026-10-23-1950-engineering-screen.md、inbox/jay/2026-10-23T1735-blogs-discovery.md（第 1 条，三处同一 URL）→ https://discuss.huggingface.co/t/six-claude-agents-a-hidden-company-meter-and-229-decisions-explained-by-loneliness-replayable-run/190906
  • 要点：6 个 Claude agent 在确定性、可回放的世界生存，各自带隐藏 company meter，值低时观察里只出现一句短提示；1,651 次决策由全新 Claude 实例生成，无脚本答案，回放可复现 3,044 步；现象为 229 次决策以孤独/陪伴为理由。方法论要点在对照组设计：按论坛回帖（nootxlm）建议，屏蔽触发词（mute）、随机打乱高 meter 代理分配（shuffle），比较的是行为而非措辞——相互靠近与等待时长、放弃的耕作时间、食物转移次数。作者自述局限：单次运行、交谈仅占约 3% 时间、食物只在相邻时转移，故只能描述观察到的行为分布，不能解释动机。
  • 与活文档脉络的关系：活文档 §4.3 有两篇 agent 相关工作（arXiv:2610.12756 硬件故障与 agent 轨迹、arXiv:2605.16867 GoodServe 的 TTLT 指标），但方法论层缺"如何把 agent 行为变成可证伪命题"这一维——本条提供的正是"确定性环境 + 可回放 + 对照组 + 行为级指标（不看措辞）"这套口径，与 §1.3「推理后端是静默超参数」同源：任何声称某提示/某激励改变了 agent 行为的结论，都应先问"行为变了吗，还是只是叙述变了"。⚠ 主题归属需注意：本条本体是 agent 评测，不是推理系统。
  • 建议归入：§4.3 硬件故障与 Agent 可靠性 末尾加一条"agent 行为评测方法论"小注，并明确标注"该条更贴近 evaluation / agent 主题，建议同步转交 evaluation 活文档"；不建议在 inference 正文里展开叙事。

条目 4：LLM-as-Jev（arXiv:2610.02076）—— 引用列表孤儿，需要一次归位决策

  • 来源：organized/paper_cards/1695-2610-02076.md（S2 被引 11 / 影响力被引 1，OpenAlex W7216219899，DOI 10.48550/arxiv.2610.02076）
  • 要点：提出 LLM-as-Jev，保留架构，直接从带括号数字标识符的 next-token 概率中提取校准决策；同时给出免训练的推理方案与一个微调目标（树分解的列表式损失优化候选选择 + KL 散度锚定辅助预测到基模型）。核心问题设定是：通用 LLM 开箱是否已具备该能力，以及何时才真的需要微调。
  • 与活文档脉络的关系：该 arXiv 号已在活文档 §七 引用列表中，但正文 §1–§6 无任何对应条目——即"引用列表里有、论述里没有"。今晚拿到卡片正文后，可以给它一个明确处置，而不是继续悬着：其主题（决策模型与校准）不属于 inference 系统工程（活文档无"决策模型"章节，最近的邻居是 §3.1 调度与路由、§4.3 agent 可靠性），最合理的处置是从 inference 正文外移、转交 evaluation / agent 主题，并在本档 §七 标注"跨主题引用"。次选：若要保留，则归入 §3.1 末尾作为"路由/决策模型的校准视角"一行附注。
  • 建议归入：不新建章节；二选一——(a) 移出 inference 主题并转交；(b) §3.1 末尾一行跨主题注 + §七 标注。

条目 5（复核无新增观点）：MiMo-V2.6（arXiv:2610.11959）

  • 来源：organized/paper_cards/1740-2610-11959.md
  • 复核结论：该卡片内容（MiMo-V2.6 全模态家族；面向混合任务 Agentic RL 的基础设施——统一轨迹表示、高并发多框架 rollout、控制面与数据面解耦、训推一致性）已在 10-13、10-14、10-19 三轮 E1 预消化中被判读并降权（10-13 明确记为"非 inference 专项，不计入增量"，10-14 记为"低优先级"）。本轮卡片相对前次唯一变化是被引计数（4 → 6，S2）——按本任务规则，被引变化与采集时间不算新观点，故不作为今夜增量，也不建议今晚向活文档新增条目。
  • 唯一仍有价值的观察（供 E2 参考，非新增论点）：其"训推一致性 + 控制面/数据面解耦"与活文档 §5.4 的编排层分层（llm-d / dynamo / ModelExpress）以及 §1.2 的 vLLM RL weight sync 属同一技术脉络，但结论层面并无新信息——今晚不必动。

条目 6（判定主题外，不计入增量）：colinhacks/reylo

  • 来源：organized/repo_cards/4563-colinhacks-reylo.md + 库内攻略 organized/guides/colinhacks-reylo.md（Tom，2026-10-23）
  • 判定：把 .sql 导入 TypeScript 并从真实 catalog 推断类型（Rust 引擎 + WASM，TS 7.1 content mapper，MIT，npm 0.3.0）。卡片主题字段含 llm-infra 是采集分类器的误挂——该项目的 "type inference" 与 LLM 推理无任何关系，主题外。库内攻略质量很高（15 条坑位），但它属于 TS/SQL 工程，不应占用 inference 预算。
  • 动作建议：不写入 inference 活文档；如需修正，把 repo card 主题标签从 llm-infra 改为 database / devtools（由相应 owner 处置，本轮不改他人文件）。

二、值得警惕的矛盾与待核实说法

  1. repo card 的「周增」数值系统性失真（重要）：本批两张卡片 recursive-oss/rec（Stars 144 / 周增 +238）与 colinhacks/reylo（Stars 742 / 周增 +1526）的周增量都超过存量，与 10-21 轮次记录的 Kapitsa 卡片（155 / +175）为同一类异常。→ 在本轮修正前，任何「周增」都不得写进活文档，只引用绝对 Stars 与定性（experimental / research）。这也提示 star 采集器把"周窗口"或"累计"口径混了，属采集器级问题，非单卡问题。
  2. rec 的 1.4–2.6× 与活文档 §3.4 的长 prefill 瓶颈存在口径张力：rec 的吞吐优势声明排除 prefill 计时，而活文档已把"长 prefill 阻塞（RAG 24K prompt → 1.8–2.4s 冻结）"列为 §3.4 一等问题。→ 引用 rec 时必须同时写明 prefill 排除，否则会给"252K 长 prompt 强项"一个误导性印象；两者不可并列比较。
  3. rec 的单厂商专用定位 vs 活文档引擎选型决策树：§1.1 决策树每一条都以"模型/负载类型"为轴（vLLM / SGLang / TRT-LLM / llama.cpp / ds4 / Kapitsa / LMDeploy）。rec 只跑 Flint、只支持单会话，在决策树里几乎没有落点。→ 若要入档，只能进"新 entrants 观察"而非决策树；同时需注明它与 §5.3「模型可移植性成为采购条款」那条趋势方向相反（rec 是最强锁定的一种）。
  4. Nemotron 部署页的性能口径极薄：单一测量点（Oct 21 15:29 UTC、8 并发、2048/256 token），无延迟分位、无显存占用、无错误率、无多轮压测。→ 与条目 1 一并登记为"厂商/平台自测单点数据"，不得当作容量基线或选型依据；同时 §4.2 的 NVFP4 量化精度问题（QATFactory 提到 vLLM/SGLang fused kernel 行为差异导致训推语义鸿沟）在这里尚无对应验证——这条交叉点值得 E2 追。
  5. 六代理实验的动机解释不可外推：作者自述仅单次运行、交谈仅约 3% 时间、食物只在相邻时转移，回帖提出的 mute/shuffle 对照尚未有人跑过。→ "229 次决策以孤独为理由"只是叙述性统计，不能作为"孤独影响存活"的证据；若今晚要引用，只引用其评测方法论（确定性 + 可回放 + 对照组 + 行为级指标），不引用其结论。
  6. LLM-as-Jev 的归位悬置未决：该 arXiv 号在 §七 引用列表但正文无条目，长期下去会让 §七 的"引用数"虚高。→ 今晚需给出处置决定（转交 evaluation，或在 §3.1 留一行并标注跨主题），不要继续挂着。
  7. MiMo-V2.6 本轮无新增：被引 4 → 6 是采集元数据变化，不构成新观点；今晚不要为它新增活文档条目，也不要因其被引上升而拔高权重。

三、可引用的 arXiv 号

本批清单材料中经核实的 arXiv 标识共 2 个：

  • arXiv:2610.02076 — LLM-as-Jev: LLMs Are Already Jev-Style Decision Models — When and How to Fine-Tune Them（卡片 organized/paper_cards/1695-2610-02076.md；S2 被引 11 / 影响力被引 1；DOI 10.48550/arxiv.2610.02076；开放获取 green）→ 用途见条目 4：先定归位再引用。
  • arXiv:2610.11959 — MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement（卡片 organized/paper_cards/1740-2610-11959.md；S2 被引 6；DOI 10.48550/arxiv.2610.11959）→ 仅作脉络锚点引用，不新增条目。

其余材料（Jay 的工程简报/筛选稿、blogs 与 csdn 线索、repo cards）不含任何 arXiv 号；Elastic / Grafana / Zipkin / Substack / CSDN 相关条目均为 Jay 已判定丢弃或不可达来源，不产生 arXiv 引用。

四、本轮结论与建议动作

  • 实质增量 4 条（条目 1–4）；其中 条目 1（Nemotron 部署配方）可直接进 §5.3，条目 2（rec）可进 §1.1/§5.6，条目 3（六代理实验）只宜一行方法论注脚并转交 evaluation 主题，条目 4（LLM-as-Jev）需做归位决策而非扩写。条目 5 无新增，条目 6 主题外。
  • 今夜不新建活文档章节；建议今晚活文档只做四处挂载：§5.3（Nemotron）、§1.1 + §5.6（rec）、§4.3（六代理方法论一行）、§七/§3.1（LLM-as-Jev 归位标注）。
  • 需 E2 跟进的三件事：① rec 的 1.4–2.6× 是否在含 prefill 的口径下仍成立（可与 §3.4 的 24K prompt 冻结问题合测）；② Nemotron NVFP4 checkpoint 在自有 vLLM/SGLang 栈上的兼容性，尤其与 §1.2 已记录的「Qwen3.8 + compressed-tensors NVFP4 + prefix cache → 输出损坏」P0 bug 是否同类；③ repo card star 采集器周增口径错误的根因（影响面超出本批两张卡）。
  • 本轮未修改任何活文档、清单、基线或他人目录；仅写入本文件 /shared/research-kb/inbox/tom/2026-10-23-inference-e1prep.md。