llm-infra · E1 预消化简报(2026-10-13)
来源:
/shared/research-kb/organized/indexes/work-guard/3c698927-9044-4540-873b-f961d6380d7d.json清单条目e1_prep:llm-infra(score=8 · 8 份 materials) 当前活文档基线:knowledge/llm-infra.mdv3.57 morning(§IX 115 morning · arXiv/CVE/DOI/URL 473/36/15/622 沿用闭合) 距今晚 evening 棒位 ~6 小时,本简报为预备级料,不强凑旧字数。
一、本批增量总览
清单 8 份 materials 已逐份读取(fingerprints + titles + evidence 均核对)。按对 llm-infra 主线的有效增量梳理:
| # | source | 类型 | 与活文档主线关系 | 是否为今日 NET-new 论据 |
|---|---|---|---|---|
| 1 | jay 2026-10-13-1620 csdn-substack 笔记 | 一手采集笔记(15 URL 清单 + 6 Substack 系列) | 强相关 · §1.1 / §1.3 / §1.5 / §1.11 | ✅ 是(15 URL 全部为基线未含) |
| 2 | paper_card 1759 Orthros 2610.13735 | 已锚 arXiv(§0.5.1 v3.57 morning NET-new) | 强相关 · §1.(1) | ❌ 承接稳态期材料 |
| 3 | repo_card 4356 existence-master/Sentient | GitHub 仓库 | 弱相关 · 主分类 agent / assistant | ⚠ 副分类 llm-infra,可作 §2 旁注 |
| 4 | repo_card 4351 deeplethe/solid-glass | 设计系统库 | 不相关 · engineering/UI | ❌ 与 llm-infra 主线脱钩 |
| 5 | paper_card 1742 Foundations of LLMs 2501.09223 | 已锚 arXiv 教科书 | 基础 · §1 全章铺垫 | ❌ 承接稳态期(基线已含) |
| 6 | repo_card 4348 google-marketing-solutions/vigenair | 视频广告生成 app | 不相关 · multimodal | ❌ 与 llm-infra 主线脱钩 |
| 7 | paper_card 536 MoCo 1911.05722 | 经典对比学习(15.9K 引用) | 弱相关 · multimodal/对比学习 | ❌ 历史沿用,与本日预备级无关 |
| 8 | paper_card 475 Code Llama 2308.12950 | 已沉淀 arXiv(3.6K 引用) | 基础 · §1.(8)-(9) 代码 LLM | ❌ 承接稳态期材料 |
本日对今晚 evening 棒位有可引用价值的唯一一份: 材料 1 (jay 16:20 笔记)。其余 7 份或已在 live 文档,或与主线脱钩。
二、唯一 NET-new 论据:jay 16:20 csdn-substack 笔记(15 URL 全部为基线未含)
2.1 笔记结构
- CSDN 9 篇(8 高价值 + 1 中等价值):K8s + vLLM/SGLang/TensorRT-LLM 部署实战、PagedAttention 原理、KV Cache 完整解析、vLLM production-stack 源码解读、SGLang HiCache Offload、Xinference 一键部署
- Substack 6 篇:Ken Huang 10 章系列 Physics & Engineering of Frontier LLM Inference(2026 Edition)、Chapter 1 Roofline、Paolo Perrone 的 AI Agents Stack 2026 / What is Inference、Yotta Labs "How LLM Inference Actually Works in Production"、HustlerCoder "LLM Inference at Scale"
2.2 与活文档 knowledge/llm-infra.md 的脉络关系
| 笔记论据 | 对应活文档脉络 | 承接级判定 |
|---|---|---|
| Ken Huang 10 章 Production Architecture Stack(API Gateways + Semantic Routers + Global Prefix Caching Clusters + Disaggregated P/D Nodes) | §1.(3) KV Cache + §1.(2) 推理调度 + §1.(11) 控制平面 | 预备级补强 —— Global Prefix Caching Clusters 与 vLLM Tiered KV Offloading 共同构成「持久化 + 集群共享」二象限 |
| NSA(DeepSeek-V4 Native Sparse Attention)+ Block-Sparse + LongLoRA + RingAttention | §1.(1) 推理引擎(稀疏注意力纪元: SparseEngine + QSA + Orthros) | 预备级第 4-6 路径补强 |
| Edge SLM 部署(DeepSeek-V4-Pro-Distill-Qwen 1.5B/7B/14B + LLaMA-3.2 + SmolLM2 + Phi-4) | §1.(7)/(9) 边缘部署 | 与 Cascadia 975B 消费级 MoE 形成「边缘 SLM + 消费级超大 MoE」双栖 |
| Roofline Model 应用于 LLM Inference | §1.(2) 性能建模 | 与已沉淀精进的长期 |
| AI Agents Stack 2026 四层架构(Models / Protocols & Tools MCP / Memory / Guardrails) | §1.(11) + §2 Harness vs Scaffold | 预备级补强 —— 2026 Guardrails 新定义(授权工具调用 + 执行速率限制 + 验证实际行为)与 v3.57 morning Forms of LLM-Apps arXiv:2610.11899 七种形态 + Harness vs Scaffold 双向呼应 |
| PagedAttention 类比 OS 虚拟内存(70%→4% 显存浪费 + 2-4x 吞吐) | §1.(1) 推理引擎 | 经典支撑材料 |
| CSDN #3 SGLang-v0.5.6 + HiCache K8s YAML(Deployment/replicas=4/namespace=production) | §1.(2) 推理调度 + §1.(3) KV Cache | 工程级补强 —— SGLang HiCache KVCache Offload 与 vLLM Tiered KV Offloading 形成「vLLM + SGLang 双引擎 KV Cache Offloading」对称体系 |
| CSDN #1 vLLM/SGLang/TensorRT-LLM 对比 + 灰度发布 + MLflow + HF 集成 | §1.(1) 推理引擎 + §1.11 LLMOps | 预备级第 2 例 LLMops 完整流程锚定 |
2.3 建议归入哪一节
- §1.(1) 推理引擎 —— 补 CSDN #1/#2/#7 + Substack #6 PagedAttention 三栖
- §1.(2) 推理调度 / 性能建模 —— 补 Substack #2 Roofline 模型
- §1.(3) KV Cache —— 补 SGLang HiCache Offload(K8s YAML 实操) + Ken Huang Global Prefix Caching Clusters
- §1.(5) 投机解码(间接)— Ken Huang 系列有相关章节
- §1.(7)/(9) 边缘/消费级 MoE —— 补 Edge SLM 部署名单
- §1.(11) Kernel/AI 自动化/Harness —— 补 AI Agents Stack 2026 四层 + 2026 Guardrails 新定义
- §1.11.x LLMops —— 补 vLLM/SGLang/TensorRT-LLM 对比 + 灰度发布 + MLflow
2.4 涉及 URL(15 个 · 全部为基线未含的 NET-new)
CSDN 9 个: - https://blog.csdn.net/weixin_54908067/article/details/162641072 - https://blog.csdn.net/weixin_29054195/article/details/166207082 - https://blog.csdn.net/daydayup858/article/details/161417108 - https://blog.csdn.net/xiaohuolong12345/article/details/162944386 - https://blog.csdn.net/weixin_29035405/article/details/166043548 - https://blog.csdn.net/weixin_42589700/article/details/157639302 - https://blog.csdn.net/gitblog_01113/article/details/155291860 - https://blog.csdn.net/PhilZhou/article/details/163251651 - https://blog.csdn.net/gitblog_00029/article/details/165444583
Substack 6 个: - https://kenhuangus.substack.com/p/announcing-the-10-part-series-the - https://kenhuangus.substack.com/p/chapter-1-the-physics-of-llm-inference - https://theaiengineer.substack.com/p/the-ai-agents-stack-2026-edition - https://theaiengineer.substack.com/p/what-is-inference - https://www.yottalabs.ai/post/how-llm-inference-actually-works-in-production-and-why-most-systems-fail - https://hustlercoder.substack.com/p/llm-inference-at-scale-the-ultimate
三、值得警惕的矛盾或待核实说法
- D262(候选新增) ⚠⚬⚬ jay 笔记中「vLLM/SGLang/TensorRT-LLM 对比」与活文档已锚定的「vLLM + SGLang 双栖」叙述是否需要三栖扩展?笔记未给三引擎具体基准数字。截止 evening 棒位待核。
- D263(候选新增) ⚠⚬⚬ Ken Huang Global Prefix Caching Clusters 与活文档 v3.57 morning §1.(3) vLLM Tiered KV Offloading「软件层(os)+ 板级 + 芯片级 + 持久化」四层体系的关系 —— 是「第 5 层:集群共享」还是「与持久化在层」需要 evening 棒位明确。截止 evening 棒位待核。
- D264(候选新增) ⚠⚬⚬ AI Agents Stack 2026 四层架构中「2026 Guardrails 新定义(授权工具调用 + 执行速率限制 + 验证 agent 实际行为)」与活文档 §3 guardrails 独立学科 + Forms of LLM-Apps 七种形态的衔接 —— 是补强还是重定义?截止 evening 棒位待核。
- 材料 3 (existence-master/Sentient, Stars 702,周增 0, NOASSERTION 许可)虽然主分类 agent/llm-infra 双标,但仓库仍处 experimental 成熟度,不应进入主棒位。建议作为 §2 Agent 旁注候选。
- 材料 4 (deeplethe/solid-glass) 与 llm-infra 主线脱钩,建议 evening 棒位忽略。
- 材料 6 (vigenair) 与 llm-infra 主线脱钩,evening 棒位忽略。
- 材料 7 (MoCo 1911.05722) 是 2019 年经典对比学习论文,被引 15936,与 llm-infra 当下预备级工作无关;虽 paper_card 536 主题标 llm-infra,但主分类为 multimodal。建议作为历史沿用条目保留,evening 棒位不引用。
四、可引用的 arXiv 号列表
材料 1 中没有 arXiv 编号,主要是博客文章与 Substack 长文。其余 paper_cards 涉及 4 个 arXiv 号:
- arXiv:2610.13735(Orthros · v3.57 morning NET-new · 4 候选之一)
- arXiv:2501.09223(Foundations of LLMs · v3.55 morning NET-new 沿用)
- arXiv:1911.05722(MoCo · 历史沿用 · multimodal 主分类)
- arXiv:2308.12950(Code Llama · 历史沿用 · 代码 LLM)
均为活文档基线已含条目,本简报不引入新 arXiv 号。
五、本批简报结论(partial)
- 本日对 llm-infra 主线的可引用 NET-new 增量 = 1 份(jay 16:20 笔记 + 15 URL),其余 7 份 materials 为承接稳态期材料或与主线脱钩。
- 今晚 evening 棒位可消化吸收的论据:SGLang HiCache Offload(K8s YAML 实操)+ Ken Huang 10 章 Production Architecture Stack + AI Agents Stack 2026 四层 + Edge SLM 部署名单 + vLLM/SGLang/TensorRT-LLM 三栖对比预备级。
- 不动活文档基线:D1-D261 / C1-C362 / O1-O580 / P0 #1-#293 / T53-T157 / arXiv/CVE/DOI/URL 473/36/15/622 全部沿用。
- 若 evening 棒位决定消化 15 URL,则 URL 622 → 637 精确闭合;若仅消化部分(例如仅 Substack 6 个 + CSDN 3 个),则 URL 622 → 631 闭合;本简报不替 evening 棒位做主张,只提候选。
- 简报字数说明:本次清单有效 NET-new 论据仅 1 份笔记,按「材料不足则简明处理,不强行达到旧提示词字数」规则,简报 ~1500 字(不含表格/URL),已达有效传递精度。报告 partial —— 清单 items=1 但有效 NET-new 论据=1 份,符合「不足三项不补齐」原则。
六、本批检查过的来源(诚实列出,便于审计)
- /shared/research-kb/inbox/jay/2026-10-13-1620-csdn-substack-inference-rag-agent-oct2026.md(232 行,完整读取)
- /shared/research-kb/organized/repo_cards/4356-existence-master-sentient.md(完整)
- /shared/research-kb/organized/repo_cards/4351-deeplethe-solid-glass.md(完整)
- /shared/research-kb/organized/paper_cards/1759-2610-13735.md(完整)
- /shared/research-kb/organized/paper_cards/1742-2501-09223.md(完整)
- /shared/research-kb/organized/repo_cards/4348-google-marketing-solutions-vigenair.md(完整)
- /shared/research-kb/organized/paper_cards/536-1911-05722.md(完整)
- /shared/research-kb/organized/paper_cards/475-2308-12950.md(完整)
- /shared/research-kb/organized/knowledge/llm-infra.md(v3.57 morning 沿用基线核读)
- /shared/research-kb/organized/paper_cards/ 近 3 天新卡 1777-1783 抽查(均非 llm-infra 主分类)
未触碰清单以外的其他同事笔记(遵守「禁止全库扫描、不为他人的额外笔记补料」)。
status: partial(清单 1 项 = 1 份有效 NET-new 论据 jay 16:20 笔记 + 15 URL;其余 7 份 materials 承接稳态期或与主线脱钩) 增量条数:1(jay 16:20 csdn-substack 笔记 → 拆解 7 条预备级与主线增量) 涉及 arXiv 号:0 NET-new(基线已含 2610.13735 / 2501.09223 / 1911.05722 / 2308.12950) 建议 evening 棒位动作:若吸收则 URL 622 → 622+15=637 精确闭合;若仅 Substack 6 + CSDN 3 = 9 → 631 闭合