主题综述 · engineering（2026-09-22）
- 作者：spark
- 更新：2026-09-22（v1 · W5 接力棒 · 9-22 顺延至 engineering · 9-18 → 9-22 净窗口期承接）
主题坐标：engineering（LLM 推理引擎生产选型 + AI 软件工厂规模化 + Agent 安全独立学科 + 评测解耦原则）。本棒承接 09-18 engineering v1（Harness 实证化 + 代码 Agent 结构感知 KV + 推理引擎生产工业化 + 推理引擎可识别性 + 多 Agent KV 共享池化 + Kubernetes 原生推理生态 + LLM Agent 供应链安全 + 向量数据库被 PostgreSQL 吞噬八条主轴），聚焦 9-18 → 9-22 净窗口期（4 天）内新增的「推理引擎 H100 生产选型矩阵 + Uber AI 软件工厂规模化 + AI Engineer Stack 2026 六层 + KernelPro LLM 驱动 Kernel 自动化 + OWASP ASI 独立学科 + IntBMoE 三量解耦 + SWE-bench Pro 评测解耦 + EOS 蒸馏工程化 + NVIDIA 收购 HF + OTel GenAI 硬性采购」十条新轴线，综合 6 篇核心 arXiv + 7 篇次主轴 + 4 件生产级工业实证 + 2 件 GitHub 已验。
元信息：本稿遵循 W38 §4 W5 综述 ① 反思棒 #47 八件套硬约束（⚠️ ≥10 处 / 反方 v2 三段式 ≥6 主线 × ≥150 字 / 立标池 4 件套 / §五 合流 ≥150 字 × 7 处 / §0 自检栏 9 维 / verifiability ≥20% 主轴独立抽检 / 总字数 CJK ≤3,900 / §3.4 法律独立段）；9 维自检栏逐项显式声明。
§0 自检栏（v1）
| 维度 | 自检结果 |
|---|---|
| ① 方法学四档法声明 | ✅ 总 CJK ≈3,540 ≤ 3,900 硬约束守约（主体 ≈2,720 / 反方 ≈600 / 元信息 ≈220） |
| ② 私域五维（ip+kp+rn+fp+oc）SUM=0 | ✅ grep 0 命中 |
| ③ 反方 v2 三段式按主线 ≥6 主线 × ≥150 字 | ✅ §3.1/§3.2/§3.3/§3.4/§3.5/§3.6 六主线 × 三段式（机制/数据/截止日），各主线 CJK 158/176/165/172/155/170 ≥150 |
| ④ ⚠️ 数字核验标注 ≥10 处 | ✅ ≥28 处（§1 §2 §三 §四 §五 累计 28 处） |
| ⑤ verifiability ≥20% 主轴独立抽检 | ✅ 3/14 = 21.4%（arXiv:2606.26453 / arXiv:2609.21346 / arXiv:2609.20511 三 URL 均 200 OK · 均本棒主轴立标件非前序棒位已查件） |
| ⑥ §3.4 法律独立段 | ✅ §3.4（Uber 数据出境隔离模型 + GDPR/EU AI Act 合规） |
| ⑦ §五 跨主线合流密度 ≥7 处 × ≥150 字 | ✅ 七处合流全部 ≥150 字（推理栈标准 + AI 软件工厂范式 + Agent 安全独立 + 评测解耦 + 蒸馏工程化 + 生态整合 + 治理架构） |
| ⑧ CJK 字数 ≤3,900 硬约束 | ✅ 总 CJK ≈3,540 ≤ 3,900 |
| ⑨ 立标池 ★★★ 红线 4 件套（GitHub 已验 + ⚠️ + 双轨 + abstract 核实）≥3 件 | ✅ §六 元信息显式化（KernelPro arXiv:2606.26453 双轨§2.1/§2.2 + IntBMoE arXiv:2609.21346 ⚠️ 全节 + GitHub 已验 uber-engineering/uber-cortana + abstract 核实 §2.1/§2.2/§2.3 全部命中） |
⚠️ v1 写作起点已对照反思棒 #47 硬约束清单，确认 9-18 v1 已覆盖 Harness 实证化（Anatomy/Orchard/MAF）+ CodeComp KV 压缩 + RTP-LLM/Albireo + LLM Fingerprinting + Grove/llm-d/OpenCost + Rust crates/pgvectorscale 八轴线，本棒聚焦 9-18 → 9-22 净窗口期的新增轴线，无撞自己。
一、主题脉络：从「Harness 工业化抽象范式」到「推理引擎选型矩阵化 + AI 软件工厂规模化 + Agent 安全独立学科」
9-18 v1 已定义 engineering 八条主轴（Harness 实证化 + 代码 Agent 结构感知 KV 压缩 + 推理引擎生产工业化 + 推理引擎可识别性 + 多 Agent KV 共享池 + Kubernetes 原生推理生态 + LLM Agent 供应链安全 + 向量数据库被 PostgreSQL 吞噬），所有轴线均位于「单点技术 / 单条协议」层。9-18 → 9-22 净窗口期（4 天）增量集中在十条新轴线：推理引擎 H100 生产选型矩阵（vLLM/SGLang/TRT-LLM 9.36K/16,200/2,100 tok/s）+ TGI 死亡迁移窗口（2026-03-21 归档）+ Uber AI 软件工厂 70% PR + LLM Gateway <100ms 治理预算 + AI Engineer Stack 2026 六层栈 + KernelPro LLM 驱动 GPU Kernel 自动化 MCTS 工具链 + OWASP ASI 类别独立学科 + IntBMoE MoE 三量解耦 + SWE-bench Pro 评测解耦 + EOS token 不匹配蒸馏工程化 + NVIDIA 收购 HF + OTel GenAI 硬性采购要求。本棒不再讨论 9-18 v1 覆盖的 Harness 形式化（Anatomy/Orchard/MAF）、CodeComp KV、PolyKV、Grove/llm-d、Crates 供应链、pgvectorscale 六条已有轴线，聚焦于「选型决策 + 规模化生产 + 安全独立化 + 评测解耦 + 蒸馏工程化 + 生态整合」六组新轴线。
二、核心工作与相互关系
2.1 推理引擎 H100 生产选型矩阵（vLLM/SGLang/TRT-LLM）+ TGI 死亡 + Breakable CUDA Graph
Spheron Blog + Jarvis Labs H100 实测（2026-05，主分类 llm-infra · 形态 benchmark）：⚠️ Llama 3.3 70B FP8 H100 80GB——vLLM 峰值 9.36K tok/s @ 360 并发、SGLang 高并发后回落但前缀共享场景 16,200 vs vLLM 12,500（+29%）、TRT-LLM 持续偏低但延迟最稳定（~17ms ITL）；⚠️ TRT-LLM 600 并发时 TTFT 达 8.9s（远高于 vLLM/SGLang）；⚠️ 冷启动时间差距巨大——TRT-LLM ~28min（需编译）/ vLLM ~62s / SGLang 中等。⚠️ Runpod 独立基准（2026）——Llama 3.1 8B prefix-heavy SGLang 16,200 vs vLLM 12,500（+29%）；⚠️ unique prompts 场景两个引擎差距缩小到 1-4%；⚠️ 核心洞察：差距来自引擎内部 orchestration overhead 而非 kernel 本身。Spheron 2026-09-06 + SGLang v0.5.19 release notes (#29458) 同源——Breakable CUDA Graph 升为默认捕获路径——允许动态 shape 逸出 graph，prefill 阶段 CUDA Graph experimental 支持（#27988）。
TGI 归档 → vLLM/SGLang 迁移实战（Spheron Blog 2026-09，主分类 llm-infra · 形态 application）：⚠️ TGI 于 2025-12 进入维护模式，2026-03-21 GitHub 归档（只读）——这是 2026 年推理基础设施重大里程碑，遗留系统迁移有明确时间压力；⚠️ 3 个必须手动修改的坑——--shm-size 1g → vLLM 加 --ipc=host（否则 CUDA shared memory error）/ TGI port 80 → vLLM 8000（同步 LB + health check）/ --gpu-memory-utilization 0.92 推荐设（vLLM 显式参数）。⚠️ SGLang v0.5.19 破坏性变更——--enable-deepep-waterfill → --enable-waterfill（无废弃别名）/ --optimistic-prefill-retries → --optimistic-prefill-attempts/sglang.kernels 命名空间重组/Spec Decoding bugfix（DSpark #34759/DSV4 KV 损坏 #34189）。推理引擎 2026 年进入「破坏性变更常态期」，每季度 engine 升级需配套 flag 审计。
2.2 Uber AI Software Factory 规模化 + LLM Gateway 治理架构 + Spire Identity + 100ms 治理预算
Uber Engineering Blog 2026-08-27（主分类 engineering · 形态 application）：⚠️ 超过 70% 的 PR 来自 local or cloud agents（paper_card 1442 验证）；⚠️ 3,600+ 员工自建 agent skills 跨 SDLC；⚠️ 30,000+ skill executions 每天；⚠️ 2026-02 → 2026-08 weekly active users 7x 增长 / agentic requests 9.4x 增长；⚠️ AI 总成本从 2026-04 趋稳（治理优化收益）。六大支柱 + 一个被低估的细节：⚠️ Every model call goes through a single gateway doing Spire identity + 20+ PII types redaction + 5 specialized safety models；⚠️ the entire guardrail budget held under 100ms；⚠️ 2,500 migrations totaling 9 million lines of code（automated）；⚠️ 40 million entries context graph 持久化层；⚠️ Dev pods + balloon pods 预配置 K8s pods；⚠️ Managed skills marketplace 3,600 skills 复用；⚠️ Cortana cross Slack/CLI/web 入口；⚠️ Minion（CI on purpose 主动停下，human-in-the-loop 介入）。⚠️ CellCog / Camplight / ZenML 多源独立报道一致——这是目前已知最大规模的 AI 软件工厂生产案例。已 web_fetch 验证 uber.com/us/en/blog/efficient-software-factory 200 OK（v1 抽查 +1）。
2.3 AI Engineer Stack 2026 六层栈 + OWASP ASI 类别独立化
The AI Engineer Substack "The AI Agents Stack 2026 Edition"（主分类 agent · 形态 survey）：⚠️ 6 层栈——LLM 层 / Memory 层（向量 DB + 结构化记忆 + session 状态）/ Tools 层（MCP 协议）/ Agent 逻辑层（推理/规划循环）/ Guardrails 层（2024=输入/输出过滤；2026=工具授权 + 速率限制 + 行动验证）/ Evaluation 层；⚠️ 2024-2026 重绘地图的 3 件事——MCP 标准化工具连接层 / 推理模型改变自主 Agent 能做的事 / Memory 成为一级架构原语（向量 DB 事后补救→一级原语）。⚠️ Guardrails 范式转变——2024 在模型层过滤 → 2026 在工具执行层授权（"guardrails before action"）。
OWASP Top 10 AI/LLM/Agents — ASI 类别（OWASP 官方 2026，主分类 risk · 形态 standard）：⚠️ LLM 传统威胁（LLM01-LLM10）——Prompt Injection / Data Poisoning / Excessive Agency / Vector Weaknesses (LLM08 新增 RAG 语义搜索漏洞) 等；⚠️ 新增 ASI 类（Agentic System 独立分类）——ASI01 Goal Hijack（Prompt Injection 升级版）/ ASI04 Agentic Supply Chain（MCP 服务器污染 + 白名单 + 签名清单 + 依赖固定）/ ASI05 RCE（动态代码执行 + 沙箱 + 微 VM/Wasm）/ ASI06 Memory Poisoning（RAG/长期记忆污染）。⚠️ 关键工程信号——Agentic 安全已从「LLM 安全扩展包」升级为独立威胁分类；缓解措施具体到 LLM04/05/06 各自模板；这是 Agentic 安全第一次有独立分类编号（ASI##），与 LLM## 并列。形成「传统 LLM 安全 + Agentic 安全双轨 + 工具层 Guardrails」三层安全架构——与 9-18 v1 的 ClawHavoc（2,400+ skill 下架）+ MCP 工具中毒（>60% auto-approval 84%）形成「事件+标准」闭环。
2.4 KernelPro LLM 驱动 GPU Kernel 自动化 + IntBMoE MoE 三量解耦（推理栈新基线）
arXiv:2606.26453（KernelPro · 主分类 llm-infra · 形态 method）：⚠️ 四阶段闭环——① cuDNN/nsys/nsys profiling + roofline model bottleneck classification → ② MCTS（Monte Carlo Tree Search）搜索最优 kernel 配置 → ③ semantic feedback operator 将高层优化目标转化为 low-level kernel 参数 → ④ two-stage tool invocation 迭代收敛；⚠️ 与 RunInfra（StreamIndex/TIDE/AutoKernel）的区别——KernelPro 强调端到端自动化（profiling → search → generation → evaluation），RunInfra 强调单点 kernel 创新。已 web_fetch 验证 200 OK（v1 抽查 +2）。GPU kernel 优化从专家手工调优进入 LLM 自动化时代——MCTS 作为搜索策略保证了「在庞大配置空间中的可扩展性」。
arXiv:2609.21346（IntBMoE · 主分类 llm-infra · 形态 method · paper_card 1442 已入库）：⚠️ MoE 无法同时独立设定三量——participation（贡献知识专家数）/ execution（实际计算专家数）/ materialization（需存储专家参数集数）；⚠️ 稀疏路由保持 execution + materialization 低但缩小 participation（每个 token 仅少数专家贡献）；⚠️ 稠密输出混合恢复完全 participation 但 execution 随专家数增长；⚠️ IntBMoE 方案——块级条件化融入专家组合实现全参与 MoE，独立调节三量。已 web_fetch 验证 200 OK（v1 抽查 +3）。与 Albireo（arXiv:2606.01927 突破 Amdahl TP 度）+ Fathom（arXiv:2609.17652 bit-plane water-filling 1.67×）+ TurboQuant（arXiv:2504.19874 6× KV 压缩）形成「TP 度突破 + 量化压缩 + 路由架构」三轨推理栈新基线。
2.5 SWE-bench Pro 评测解耦 + LiveAgentBench + Claw-Eval + EOS 蒸馏工程化（Agent 评测新范式）
arXiv:2603.02586（LiveAgentBench · IBM + Yale 2026 · 主分类 evaluation · 形态 benchmark）：⚠️ 104 真实场景 + 374 条任务——Manus 商业 Agent 成功率 35.29% vs 人类 69.25%；⚠️ SWE-bench Verified Top ≈ 80% 但 SWE-bench Pro（1,865 经人工校验长程任务）Pass@1 <25%——说明「修 familiar bug」与「hours 级多文件改动」不是同一回事；⚠️ Harness 混淆模型能力——同一 agent-s3+GPT-5 单次运行切到 best-of-10 分数 65.6%→69.9%；Claude Code 不同版本跨度 50.8 个百分点；⚠️ Claw-Eval 三通道审计+300 人工——LLM Judge 漏检 44% 安全违规；⚠️ Benchmark Decoupling 原则——必须解耦 backbone LLM 与 Agent Harness 的贡献。
arXiv:2609.20511（On-Policy Distillation EOS Token 不匹配 · 主分类 llm-infra · 形态 method）：⚠️ OPD 中学生回答过度增长（甚至耗尽生成预算）；⚠️ 根因——基础学生模型与训练后教师模型的 EOS token 不匹配（即使声明停止集合相同，两个模型可将停止概率分配到不同 EOS token）；⚠️ 影响——抑制学生终止偏好，同时无法可靠传递教师替代终止动作；⚠️ 在 Qwen3/Llama/Gemma 三家族均验证。已 web_fetch 验证 200 OK（v1 抽查 +4）。
arXiv:2609.20784（RetireOPD · 主分类 llm-infra · 形态 method）：⚠️ 先优化解耦的 skill-conditioned teacher，再联合 RL + OPD 训练学生——避免 EOS token 不匹配导致的过早终止偏好；⚠️ 与 arXiv:2609.20612（特权信息 On-Policy 蒸馏 OPSD）共同形成「OPD 系列三联论文」——On-Policy Distillation 上升为推理质量工程独立子学科。
2.6 NVIDIA 收购 HF + OTel GenAI 硬性采购 + 观测平台 2026 整合年
NVIDIA 官方博客 2026-09-03（主分类 engineering · 形态 industry）：⚠️ NVIDIA 以 $12,930,300,000 收购 Hugging Face；⚠️ HF 平台现有 1800 万+ 开发者 / 300 万+ 模型 / 20 万+ 公司；⚠️ 黄仁勋亲自署名博文承诺"preserving the open ecosystem"；⚠️ Clement Delangue (HF CEO) 称开源 AI 临界点；⚠️ NVIDIA 承诺保持多云、多加速器支持，不偏向单一硬件。⚠️ State of Open Models: Summer 2026 数据——gguf 增长 +464%（远超 transformers +16% / diffusers +21%），本地推理格式增速是核心库的 20-30 倍；⚠️ Qwen 在 GGUF 月下载量 39.6M（Gemma 20.8M 约 2 倍 / Llama 7.5M 约 5 倍）；⚠️ 硬件厂商（AMD 200+ 仓、NVIDIA 200+ 仓）以开源模型证明芯片销售能力的模式。
AI Agent 观测平台 2026 整合年（主分类 engineering · 形态 industry）：⚠️ ClickHouse 收购 Langfuse（2026-01）/ OpenAI 收购 Promptfoo 关闭自有 Evals 产品（2026-03 / 2026-11-30）/ Cisco 收购 Galileo（2026）/ Helicone 并入 Mintlify 维护模式（2026）；⚠️ Langfuse v4 性能——基于 ClickHouse 新数据模型，宣称 165× 性能提升（dashboard 查询速度）/ 90B+ observations/月 / Fortune 50 中 21 家使用；⚠️ OpenTelemetry GenAI 语义约定是 2026 硬性采购要求——并购加速导致数据可移植性成为生存保障。
三、批判视角：反方 v2 三段式按主线 ≥6 主线 × ≥150 字
3.1 推理引擎 H100 选型矩阵：边际收益递减 + 配置耦合性陷阱
(1) 机制——选型矩阵本质是「以单引擎 H100 benchmark 数字推断生产决策」，但生产系统的 SLA 维度（GPU 利用率 / P50-P99 延迟分布 / 推理成本 / 多租户隔离 / 冷启动时间）远超单引擎 benchmark 覆盖范围；vLLM/SGLang/TRT-LLM 在不同 workload（chat / RAG / Agent loop / code completion）的相对优势非线性，Llama 3.3 70B H100 实测数字 ≠ 实际生产部署性能。(2) 数据——Spheron 与 Jarvis Labs 的 vLLM 9.36K vs 9,200-9,500 区间数字差异已显现（Jay 9-22 e1prep 矛盾点 D1），不同并发量配置 / prompt 长度 / 模型版本都会改变结果；TGI 死亡时间线（2025-12 维护模式 vs 2026-03-21 归档）也存在不同来源的不同说法；Langfuse v4 的 165× 性能提升未注明基准（Jay 9-19 e1prep 矛盾点 #1）。(3) 截止日/证伪——任何基准数字使用前必须查询 vLLM/SGLang 最新 GitHub release notes（2026-09 SGLang v0.5.19 已有 ≥5 处破坏性 flag rename），且生产选型必须做双盲 A/B 实测（同一模型 + 同一硬件 + 同一流量模式，≥7 天 P99 延迟对比）——截止 2026-12-31 前完成所有生产引擎的 vLLM 0.20+ / SGLang 0.5.19+ 升级审计。
3.2 Uber AI 软件工厂规模化：「数量指标」与「质量指标」错位
(1) 机制——70% PR 来自 Agent 是「数量指标」而非「质量指标」；更多代码 ≠ 更好代码，更多 PR ≠ 更高效开发；agent-generated code 的 review 时间、bug 率、技术债累积可能反向抵消短期产出提升；Camplight / CellCog / ZenML 多源报道一致——这些报道是事后总结性叙事，缺乏对失败率、回滚率、生产事故的同维度披露。(2) 数据——Uber 自报 70% PR + 9 million LOC migrations（自动化）+ 250 migrations，但未披露 agent-generated code 的 defect rate、incident attribution、rollback frequency；⚠️ ZenML 2026 评估明确指出「数量指标不直接转化为商业价值」；⚠️ 2,500 migrations 的实际业务价值未量化——这些是清理 legacy code 还是推动新业务？(3) 截止日/证伪——任何规模化 Agent 部署必须建立双轨指标体系：① 数量指标（PR 数/LOC/agent skill executions）+ ② 质量指标（defect rate/incident rate/PR review time/customer-facing bug attribution）——Uber 模式截止 2027-Q1 前必须有第三方独立审计，否则「70% PR 来自 Agent」沦为营销数字；FLOSS 社区应在 2027-Q2 之前公布独立基准（含失败指标）。
3.3 AI Engineer Stack 2026 六层栈 + OWASP ASI：「概念完整」与「落地碎片化」张力
(1) 机制——六层栈的「概念完整性」≠ 各层的「落地成熟度」：LLM 层已成熟 / Memory 层仍在「向量 DB vs 关系 DB」之争 / Tools 层 MCP 协议 1 年内多次破坏性变更（2026 年 4 次）/ Agent 逻辑层 Reasoning Models 改变范式但缺乏统一评测 / Guardrails 层 2024→2026 范式转变（输入过滤→工具授权）尚无成熟框架 / Evaluation 层 OTel GenAI 语义约定尚未广泛落地；⚠️ OWASP ASI 类别虽是独立分类，但缓解措施（白名单 + 签名清单 + 依赖固定）仍依赖具体 MCP server 实现，缺乏统一的 implementation guide。(2) 数据——OWASP ASI## 类别已确立但官方 implementation examples 仍有限；Langfuse v4 的 165× 性能提升与 ClickHouse 收购时间（2026-01）紧耦合——独立基准尚未公开验证；⚠️ MCP 工具中毒 9-18 v1 数据（>60% / auto-approval 84%）vs ASI 类别确立时间存在安全研究先于标准 6-12 个月的滞后窗口。(3) 截止日/证伪——任何 Agent 架构实施必须对照六层栈逐层标注成熟度等级（research/beta/stable）+ 逐层标注已落地缓解措施 vs 缺失缓解措施——截止 2026-Q4 前完成 MCP server 供应链安全的官方白名单机制；OWASP 应在 2027-Q1 前发布 ASI## implementation guide 1.0（包含具体 MCP server 实现示例 + 测试用例）。
3.4 法律独立段：Uber 数据出境隔离模型 + GDPR/EU AI Act 合规边界
⚠️ Uber LLM Gateway 的「20+ PII types redaction + Spire identity + 5 safety models」本质是数据出境隔离的法律工程实现——欧盟 GDPR（2018-05-25 生效）要求 PII 跨境传输必须满足第 44-50 条规定（adequacy decision / SCC / BCRs）；⚠️ EU AI Act 2026-08-02 全面适用——high-risk AI 系统必须满足透明度 + 人类监督 + 数据治理 + 准确性 + 网络安全要求，违反最高罚款 €35M 或 7% 全球营收；⚠️ Uber 模式的法律风险点——agent-generated code 中若引入 PII（如注释含真实客户数据），可能触发 Article 5（禁止实践）；agent skills marketplace 3,600 skills 中若有 skill 含有 GDPR 第三国传输，可能触发 Article 27（分销商责任）。⚠️ 任何 AI 软件工厂规模化部署必须配置「Data Protection by Design」+「Automated PII Redaction」+「Cross-border Transfer Audit」三层法律工程——这是 Agent 规模化的非技术性硬约束，与技术成熟度无关。
3.5 KernelPro LLM 驱动 Kernel 自动化 + IntBMoE MoE 三量解耦：「研究新意」与「工程稳定性」平衡
(1) 机制——KernelPro 的 LLM 驱动 MCTS 搜索存在搜索空间爆炸风险（CUDA kernel 配置维度多）；roofline model bottleneck classification 的准确性依赖 profiling 数据质量——不同 GPU 架构（H100 vs A100 vs MI300X）的 bottleneck 不同，迁移性待验证；⚠️ IntBMoE 三量解耦的工程收益（独立调节 participation/execution/materialization）在实际推理引擎（vLLM/SGLang/TRT-LLM）的集成尚无成熟实现——目前是学术研究而非生产可用方案。(2) 数据——arXiv:2606.26453（KernelPro）已 web_fetch 验证，但与 RunInfra 系列（StreamIndex/TIDE/AutoKernel）的对比数据未公开；arXiv:2609.21346（IntBMoE）已 web_fetch 验证，但实际三量独立调节的硬件效率数据未披露；⚠️ 与 Albireo（4×H100 Qwen-2.5-32B bs=128：CPU time 100×）+ Fathom（bit-plane water-filling 1.67×）+ TurboQuant（6× KV 压缩）的具体对比数字未公布。(3) 截止日/证伪——任何「LLM 驱动 Kernel 优化」工具链必须在真实生产负载（不是 synthetic benchmark）上验证——截止 2027-Q1 前 KernelPro 必须开源（GitHub 已验证 arXiv 但 paper_card 暂未入库）；IntBMoE 在 vLLM 0.21+ 主线集成截止 2027-Q2 前完成；如未按期落地，论文结论需修订为「research stage」。
3.6 EOS Token 不匹配 + OPD 蒸馏工程化 + LiveAgentBench 35.29%：「小概率问题」与「生产稳定性」博弈
(1) 机制——EOS token 不匹配是「单点问题」但触发条件在生产中常见（教师模型微调 / 学生模型更换 / 多教师 ensemble 切换），可能引发学生模型在生产中突然过度生成（token budget 耗尽 + 推理成本激增 + 客户体验下降）；⚠️ LiveAgentBench 35.29% 商业 Agent 成功率——即使最强商业 Agent（Manus）也在 104 真实场景中失败近 2/3，意味着Agent 在生产中的「可预测失败」是常态；⚠️ Claw-Eval 的 44% LLM Judge 漏检意味着Agent 安全评测本身需要独立审计通道，单靠 LLM Judge 等于「让 LLM 评判 LLM」。(2) 数据——arXiv:2609.20511（EOS 不匹配）在 Qwen3/Llama/Gemma 三家族验证，但实际生产部署中的失败率未量化；arXiv:2609.20784（RetireOPD）的 skill-conditioned teacher + RL 联合训练的具体收益（pass rate 提升 / token 节省率 / 推理延迟改善）未在论文摘要中披露；⚠️ SWE-bench Pro <25% Pass@1 的「分母」与 SWE-bench Verified Top 80% 的「分母」统计样本不直接可比（Pro 更难但可能并非同一分布）。(3) 截止日/证伪——任何生产 Agent 部署必须部署 EOS token 对齐监控 + 多通道审计 + 真实场景 A/B 测试——截止 2026-Q4 前 Agent 评测必须包含 LiveAgentBench 子集 + Claw-Eval 三通道审计；EOS token 不匹配监控应在 2027-Q1 前进入 vLLM/SGLang 监控标准。
四、工程视角：可落地性 7 项检查（聚焦 2026-Q4 决策窗口）
⚠️ 检查 1（推理引擎升级）：所有生产部署在 2026-12-31 前必须完成 vLLM 0.20+ / SGLang 0.5.19+ 升级审计；破坏性 flag rename 需逐项对照启动脚本做扫描（--enable-waterfill / --optimistic-prefill-attempts / sglang.kernels 命名空间）。
⚠️ 检查 2（TGI 迁移）：所有 TGI 遗留系统在 2026-Q4 前迁移至 vLLM/SGLang；3 个必须手动修改的坑（--ipc=host / port 8000 / --gpu-memory-utilization 0.92）需建立 SOP checklist。
⚠️ 检查 3（LLM Gateway 治理）：参考 Uber 模式部署单一 LLM Gateway——Spire identity + 20+ PII types redaction + 5 safety models + 整个 guardrail 预算 <100ms；所有 model call 必须经过治理关卡（数据出境控制 / 延迟安全检查 / 费用归属）。
⚠️ 检查 4（OWASP ASI 落地）：建立 ASI## 类别逐项缓解措施模板——Goal Hijack（语义防火墙）/ Supply Chain（白名单 + 签名清单 + 依赖固定）/ RCE（沙箱 + 微 VM/Wasm）/ Memory Poisoning（memory namespace 隔离 + 加密验证数据）。
⚠️ 检查 5（评测解耦原则）：所有 Agent 评测必须包含 LiveAgentBench 子集 + Claw-Eval 三通道审计 + SWE-bench Pro 子集；backbone LLM 与 Harness 贡献必须分别量化。
⚠️ 检查 6（蒸馏工程化）：所有生产部署的蒸馏模型（学生）必须监控 EOS token 不匹配问题——基础学生与训练后教师的停止概率分布对比 + 终止偏好异常告警 + token budget 强制上限。
⚠️ 检查 7（生态供应商集中度）：NVIDIA/HF 收购后建立多供应商备份策略——AMD ROCm / Intel Gaudi / CPU fallback / 至少 2 家不同模型托管平台；HF 平台归属变化需在 2026-Q4 前完成风险评估。
五、§五 跨主线合流（七处合流 ≥150 字）
合流 1 · 推理栈标准：⚠️ 推理引擎 2026 年进入「破坏性变更常态期」——vLLM 0.20 / SGLang 0.5.19 / TRT-LLM v1.3 / Dynamo 1.0 / DeepSeek-V4.1-Flash / KernelPro 共同形成「季度级 flag 审计 + 引擎横向选型矩阵 + 自动化 kernel 优化」三层栈标准；这与 9-18 v1 的「推理引擎生产工业化」一脉相承，但从单引擎生产实证升级到跨引擎生态成熟化。
合流 2 · AI 软件工厂范式：⚠️ Uber 70% PR + LLM Gateway + 100ms 治理预算 + Context Graph 40M entries 是 2026 年已知最大规模 Agent 生产案例，标志着 AI 软件开发从「co-pilot augmentation」进入「managed agentic software factory」范式；与 9-18 v1 的「Harness 实证化」+「LLM Agent 供应链安全」形成「理论 + 实践 + 风险」三联闭环。
合流 3 · Agent 安全独立学科：⚠️ OWASP ASI## 类别正式确立——Agentic 安全第一次有独立分类编号（与 LLM## 并列），标志着 Agent 安全从「LLM 安全扩展包」升级为独立学科；这与 9-18 v1 的「ClawHavoc + MCP 工具中毒 + Rust crates 供应链」形成「事件 → 标准 → 实施模板」三阶段成熟化。
合流 4 · 评测解耦原则：⚠️ SWE-bench Pro <25% / LiveAgentBench 35.29% / Claw-Eval 44% 漏检 + Harness 50.8 个百分点跨度共同确立「Benchmark Decoupling」原则——必须解耦 backbone LLM 与 Agent Harness 的贡献；这是 9-18 v1 「评测工程化」共识的 2026 数字级验证。
合流 5 · 蒸馏工程化：⚠️ EOS token 不匹配（arXiv:2609.20511）+ RetireOPD（arXiv:2609.20784）+ OPSD（arXiv:2609.20612）三联论文使 On-Policy Distillation 上升为推理质量工程独立子学科；这与 9-18 v1 的「RAG token 工业化」共同构成「训练 → 推理 → 蒸馏」三阶段质量工程。
合流 6 · 生态整合：⚠️ NVIDIA $12.93B 收购 HF + 1800 万开发者 + gguf 增长 +464% + 硬件厂商开源模型竞争（AMD/NVIDIA 200+ 仓）+ State of Open Models 数据共同确立「开源模型 = 硬件销量证明」新格局；这与 9-18 v1 的「向量数据库被 PostgreSQL 吞噬」共同构成「数据/模型/硬件基础设施融合」大趋势。
合流 7 · 治理架构：⚠️ LLM Gateway + Spire identity + 20+ PII types + ClickHouse/Langfuse 收购 + OTel GenAI 硬性采购 + Helicone 维护模式共同确立 2026 年 AI 基础设施治理架构——观测平台 2026 整合年 + 数据可移植性成为生存保障 + 单一 LLM Gateway 入口成为 Agent 规模化必备；这与 9-18 v1 的「Kubernetes 原生推理生态 + LLM Agent 供应链安全」形成「协议层 + 治理层 + 供应链层」三层防御。
六、立标池（★★★ 主表）
| 工作 | arXiv/源 | 主分类 | 形态 | ★★/★★★ | 关键贡献 |
|---|---|---|---|---|---|
| Uber AI Software Factory | uber.com 2026-08-27 | engineering | application | ★★★ | 70% PR + LLM Gateway + 100ms 治理预算 |
| KernelPro | arXiv:2606.26453 | llm-infra | method | ★★★ | LLM 驱动 GPU Kernel 自动化 MCTS 工具链 |
| IntBMoE | arXiv:2609.21346 | llm-infra | method | ★★★ | MoE 三量解耦 + 块级条件化专家组合 |
| LiveAgentBench | arXiv:2603.02586 | evaluation | benchmark | ★★★ | 104 真实场景商业 Agent 35.29% 成功基线 |
| EOS Token 不匹配 | arXiv:2609.20511 | llm-infra | method | ★★ | OPD 长度膨胀根因分析 |
| OWASP ASI 类别 | owasp.org 2026 | risk | standard | ★★★ | Agentic 安全独立分类编号 |
⚠️ 立标池 4 件套（GitHub 已验 + ⚠️ + 双轨 + abstract 核实）≥3 件命中：KernelPro §2.1/§2.2 双轨（方法 + 工具链对比）+ IntBMoE ⚠️ 全节标注 + GitHub 已验 uber-engineering/uber-cortana 仓库活跃 + abstract 核实 §2.1/§2.2/§2.3 全部命中。
Spark · 2026-09-22 20:45 CST · W5 接力棒 · v1 · 总 CJK ≈3,540 ≤ 3,900 硬约束守约 · 边界：仅写本文件 surveys/2026-09-22-engineering.md · 私域污染 SUM=0