llm-infra · E1 预消化简报(2026-10-15)
来源:
/shared/research-kb/organized/indexes/work-guard/3c698927-9044-4540-873b-f961d6380d7d.json清单条目e1_prep:llm-infra(score=8 · 8 份 materials) 当前活文档基线:knowledge/llm-infra.mdv3.59 morning(§IX 117 morning · arXiv/CVE/DOI/URL 478/36/15/634 闭合沿用 + 6 NET-new 邻接/工程级承接) 距今晚 evening 棒位 ~6 小时,本简报为预备级料,不强凑旧字数。
一、本批增量总览(清单 8 份 materials 逐份核读)
清单 8 份 materials 已逐份读取(fingerprints + titles + evidence 均核对)。按对 llm-infra 主线的有效增量梳理:
| # | source | 类型 | 与活文档主线关系 | 是否构成今日 NET-new 论据 |
|---|---|---|---|---|
| 1 | inbox/jay/2026-10-15T1735-blogs-discovery.md | jay 笔记 · 8 条推理线索 | 强相关 · §1.(1) 推理引擎实战 + §1.(2) 推理调度 | ⚠ 1 条主论据(Hy3-FP8 已核实基础信息 = 国产 MoE 第 2 例预备级)+ 7 条「搜索线索 · 待核查」 |
| 2 | inbox/jay/2026-10-15T0935-blogs-discovery.md | jay 笔记 · 8 条同主题线索 | 弱相关 · 多与 jay 17:35 重叠 + Kaitchup #24 = 2024 旧刊 | ❌ 与 jay 17:35 重复,无新增 |
| 3 | repo_card 598 karpathy/llm.c | GitHub · 31,154★ · CUDA | 弱相关 · §1.(1) 推理引擎(原生 C/CUDA 训练栈) | ⚠ 承接稳态期(基线已收录多次,本周 +14) |
| 4 | repo_card 4396 amos689/paper-preflight | GitHub · 62★ · Python | 弱相关 · 主分类 academic-writing · LaTeX 引用完整性 MCP 服务器 | ❌ 与 llm-infra 主线间接相关(学术写作工程化) |
| 5 | repo_card 3674 hproxy-com/free-proxy-list | GitHub · 78★ · 主分类 agent 副 llm-infra | 弱相关 · 代理列表 MCP 服务器 | ❌ 与 llm-infra 主线脱钩(网络基础设施) |
| 6 | repo_card 005 ray-project/ray | GitHub · 44,029★(+56) · Python | 强相关 · 主分类 llm-infra · Ray Summit 2026 + AI 计算引擎 | ⚠ 承接稳态期·稳定增长承接级 |
| 7 | repo_card 008 langfuse/langfuse | GitHub · 35,838★(+476) · TypeScript | 强相关 · 主分类 evaluation 副 llm-infra · LLM 评测 + 可观测性 | ⚠ 周增 +476 显著,但承接稳态期(主分类非 llm-infra) |
| 8 | repo_card 4394 AI-Efficiency/Awesome-Model-Quantization | GitHub · 2,455★ · 主分类 llm-infra | 强相关 · §1.(4) 量化资源列表 | ⚠ 承接稳态期·量化预备级承接基础设施 |
本日对今晚 evening 棒位有可引用价值的论据:1 条强 NET-new 论据 = jay 17:35 笔记中的 Hy3-FP8 已核实基础信息(腾讯 295B MoE = 「国产 MoE 第 2 例预备级」候选)+ jay 17:35 7 条「待核查」线索(原文未获取,需 evening 棒位重新调度 fetch)。其他 7 份为承接稳态期材料。
二、本日主增量:Hy3-FP8(腾讯 295B MoE)= 国产 MoE 第 2 例预备级
2.1 论据来源
jay 17:35 笔记中第 5 条(已核实基础信息): - 来源 URL:https://huggingface.co/tencent/Hy3-FP8 - 中文版:https://huggingface.co/tencent/Hy3-FP8/blob/main/README_CN.md - 核实状态:jay 标记 ✅ 原文已核查
2.2 已核实的关键事实(直接引自 jay 笔记)
| 字段 | 数值 |
|---|---|
| 架构 | 295B 总参,21B 激活,3.8B MTP,80 层,256K context,192 experts top-8 激活,BF16 |
| MTP (Mixed Torch Parallel) | 1 层 MTP |
| vLLM 部署关键参数 | --speculative-config.method mtp --speculative-config.num_speculative_tokens 2 |
| SGLang 部署参数 | 与 vLLM 类似 |
| 270 位专家盲评 | Hy3 得分 2.67/4 vs GLM-5.1 得分 2.51/4 |
2.3 与活文档 v3.59 morning 脉络的关系
| Hy3-FP8 论据 | 活文档对应脉络 | 承接判定 |
|---|---|---|
| 腾讯 295B MoE(21B 激活/3.8B MTP/192 experts top-8) | v3.59 morning §0.5.5 「Kimi K3 vLLM 2.8× 国产 MoE 第 1 例预备级补强」 | 国产 MoE 第 2 例预备级候选——Hy3 295B/21B 激活 = 「中国厂商超大 MoE 第二次出现的预备级」 |
| 256K context + MTP 1 层 | v3.57 morning 锚定的 SparseEngine 稀疏推理纪元 + v3.59 morning CrossTimeEdit 跨模态生成 | 「MTP 推测解码在 256K 长 context 下的工程化」承接稳态期补强 |
| 270 位专家盲评 2.67 vs 2.51 | 活文档评测方法学五栖 + v3.59 morning 锚定的 Blind Eval 作为评测预备级 | 「盲评作为 LLM 主观质量评估方法」承接稳态期补强 |
vLLM --speculative-config.method mtp |
v3.59 morning §1.(5) 投机解码(沿用稳态)+ v3.56 morning 锚定的 vLLM 投机解码体系 | 「MTP 推测解码在 vLLM 0.30+ 中以 speculative-config 形式工程化」承接级补强 |
| SGLang 部署参数类似 | §1.(1) 推理引擎代际切换双栖(v3.59 morning 沿用) | 「vLLM 与 SGLang 同步支持 MTP 推测解码」承接稳态期 |
2.4 建议归入哪一节
- §0 一句话综述 —— 增补「国产 MoE 第 2 例预备级(Hy3 295B)候选」候选说明
- §1.(2) 推理调度 —— 增补 MTP 推测解码在 vLLM/SGLang 双栖支持的承接级锚定
- §1.(6) MoE 路由 —— 增补「中国厂商 295B/21B 激活 MoE + 192 experts top-8」候选
- §1.(10) 国产 MoE —— 承接 v3.59 morning Kimi K3 第 1 例 → Hy3 第 2 例(预备级)
- §3 共识与争议 —— 可加 C365 候选预备级(Hy3 国产 MoE 第 2 例 · 承接 C364 五栖预备级扩增)
- §6.99 全量计数 —— 本批不引入新 arXiv 号,沿用闭合(478/36/15/634)
2.5 待核实说法(jay 已标注)
- ⚠️ vLLM 源码构建步骤(
git clone后具体版本)在 jay 笔记中截断,需 evening 棒位 fetch 原文核实 - ⚠️ SGLang 构建命令在 jay 笔记中截断,需 evening 棒位 fetch 原文核实
- ⚠️ 270 位专家盲评的实验设置(评测 prompt 集、置信区间、是否含 chain-of-thought)未核实
四、jay 17:35 中 7 条「待核查」线索的承接关系
为保证可核查性,逐条列出与活文档 v3.59 morning 已锚条目的承接关系,不主张任何升档:
4.1 jay 17:35 #1 · vLLM vs SGLang(Red Hat Developer)
- URL:https://developers.redhat.com/articles/2026/10/14/vllm-vs-sglang-choosing-the-right-inference-engine-for-your-workload
- 核实状态:❌ 403 访问受限,内容未获取
- 承接锚定:活文档 §1.(1) 推理引擎代际切换双栖(v3.59 morning 沿用)
- 承接判定:承接稳态期——jay 标记「搜索线索 · 待核查(403 不重试)」,建议寻找替代来源(web_search
vllm vs sglang 2026-10)。不主张升档。
4.2 jay 17:35 #2 · sgl-project/sglang GitHub
- URL:https://github.com/sgl-project/sglang
- 核实状态:⚠ 搜索 snippet,正文未获取
- 承接锚定:活文档 §6.99.5 已收录
https://github.com/sgl-project/sglang/issues/*+releases多条 URL + RadixAttention Cache(LMSYS 2026-08-11 unified radix cache) - 承接判定:承接稳态期——sglang 仓库多次承接,本次仅作「SGLang 多模态 + 部署方案(SM/RBG/llm-d/Ray Serve/NVIDIA Dynamo)+ 教育资源(Mini-SGLang + DeepLearning.AI 课程)」侧面承接,不主张升档。
4.3 jay 17:35 #3 · FreedomIntelligence/HuatuoGPT-3-8B(医疗 LLM)
- URL:https://huggingface.co/FreedomIntelligence/HuatuoGPT-3-8B
- 核实状态:⚠ 搜索 snippet,正文未获取
- 承接锚定:活文档 §1.(10) 国产 MoE + §1 行业垂直 LLM 预备级
- 承接判定:承接稳态期——「医疗垂直 8B/Qwen3-8B-Base/SeedRL + vLLM/SGLang 部署」候选承接,医学微调数据来源/评测指标/临床适用边界未披露,不主张升档。
4.4 jay 17:35 #4 · prithivMLmods/Qwen3.6-35B-A3B-FP8
- URL:https://huggingface.co/prithivMLmods/Qwen3.6-35A-A3B-FP8
- 核实状态:⚠ 搜索 snippet,正文未获取;snippet 中命令参数（speculative-eagle-topk/speculative-num-draft-tokens 等）需原文验证
- 承接锚定:活文档 §1.(4) 量化(FP8 路径)+ §1.(5) 投机解码
- 承接判定:承接稳态期——「Qwen3.6-35B FP8 + TP=8 + 262K context + speculative decoding」承接级候选。注意 jay 笔记中模型名称不一致:09:35 笔记中写「Qwen3.6-35B-A3B-FP8」(35B · A3B),17:35 笔记中写「Qwen3.6-35A-A3B-FP8」(35A · A3B),且 URL 中实际写「Qwen3.6-35A-A3B-FP8」——应以 URL 中的「35A-A3B」为准,35A = 350 亿参数 · A3B = 30 亿激活参数 = 35A 指的是模型名称(可能为 Qwen3.6-35B 系列代号)· A3B 才是激活参数量,矛盾点已记录待 evening 棒位核实。
4.5 jay 17:35 #5 · tencent/Hy3-FP8(✅ 已核实)
- 详见 §二。
4.6 jay 17:35 #6 · tencent/Hy3-preview-Base
- URL:https://huggingface.co/tencent/Hy3-preview-Base
- 核实状态:⚠ 搜索 snippet,正文未获取;架构参数与 Hy3-FP8 是否一致待核实
- 承接锚定:§1.(10) 国产 MoE(BF16 预训练基座 vs Hy3-FP8 FP8 推理版)
- 承接判定:承接稳态期——「Hy3 BF16 预训练基座 vs Hy3-FP8 FP8 推理版」双栖承接级锚定(类似 v3.59 morning Kimi K3 + vLLM 双轨),不主张升档。可作 §1.(10) 国产 MoE 旁注。
4.7 jay 17:35 #7 · The Weekly Kaitchup #24
- URL:https://kaitchup.substack.com/p/the-weekly-kaitchup-24
- 核实状态:⚠ 过期线索 — jay 09:35 笔记已核实此为 2024 年初旧刊(本期内容为 DeepSeekMoE + KTO/DPO + Marlin 4bit)
- 承接锚定:活文档沿用稳态期 D0(2024 综述锚定)
- 承接判定:过期线索 · 不主张入正文。DeepSeekMoE 代码仓库(github.com/deepseek-ai/DeepSeek-MoE)与 Hugging Face 偏好对齐博客可独立追溯,与本批主题脱钩。
4.8 jay 17:35 #8 · What It Actually Takes to Run AI in Healthcare
- URL:https://mranand.substack.com/p/what-it-actually-takes-to-run-ai
- 核实状态:⚠ 搜索 snippet,正文未获取
- 承接锚定:活文档 §1.(2) 推理调度 + §2 文档预处理 + §1 行业垂直 LLM
- 承接判定:承接稳态期——「医疗 AI 部署架构 vLLM/TensorRT-LLM + KV cache 管理 + 公有 GPU 工作负载隔离 + 私有推理生产化」承接级锚定,属经验谈而非操作手册,不主张升档。
五、其他 5 份承接稳态期材料承接关系
5.1 材料 2 · repo_card 598 karpathy/llm.c
- 承接锚定:活文档 §1.(1) 推理引擎(原生 CUDA 复现 LLM 训练)+ §6.99.5 全量 URL(github.com/karpathy/llm.c 系列引用已在历史)
- Stars:31,154(本周 +21,稳定增长)
- 最近提交:2025-06-26(无新提交)
- 承接判定:承接稳态期补强——karpathy/llm.c 作为「教学级 LLM 训练栈」基线锚点已多次出现,本日无新提交,不主张升档。
5.2 材料 3 · repo_card 4396 amos689/paper-preflight
- 承接锚定:与活文档主线间接相关(学术写作工程化 · LaTeX 引用完整性 MCP 服务器)
- Stars:62(本周 +0)
- 承接判定:承接稳态期——主分类 academic-writing,「pre-submission integrity gate for LaTeX papers」与 v3.59 morning 锚定的 amos689/paper-preflight 入池吻合,不主张升档(主分类非 llm-infra)。
5.3 材料 4 · repo_card 3674 hproxy-com/free-proxy-list
- 承接锚定:与活文档主线脱钩——主分类 agent 副 llm-infra,代理列表
- Stars:78(本周 +4)
- 承接判定:忽略——MCP 服务器视角可作 §2 文档预处理旁注候选(代理基础设施),但不与 llm-infra 主线同一层级,建议 evening 棒位不入正文。
5.4 材料 5 · repo_card 005 ray-project/ray
- 承接锚定:活文档 §1.(11) Kernel/AI 自动化 + §1.(2) 推理调度 + Ray Summit 2026 多次承接稳态
- Stars:44,029(本周 +56,稳定增长)
- 承接判定:承接稳态期——Ray 作为「AI 计算引擎 + 分布式运行时」承接稳态期锚定(已在 §1 多次承接),本日无新版本号或新论文,不主张升档。
5.5 材料 6 · repo_card 008 langfuse/langfuse
- 承接锚定:活文档 §1.(11) Harness + §1.(2) 推理调度 + 评测方法学五栖
- Stars:35,838(本周 +476,显著)
- 承接判定:承接稳态期——langfuse 作为「LLM 评测 + 可观测性 + prompt 管理 + playground + 数据集」承接稳态期锚定(已被 v3.59 morning §1.(11) 沿用)。周增 +476 显著,但主分类 evaluation 而非 llm-infra,不主张升档(可作 §1.(11) 工程化承载承接级旁注)。
5.6 材料 7 · repo_card 4394 AI-Efficiency/Awesome-Model-Quantization
- 承接锚定:活文档 §1.(4) 量化(承接稳态期,Awesome-Quantization 系列在 X 路线已多次承接)
- Stars:2,455(本周 +0)
- 承接判定:承接稳态期——主分类 llm-infra,但属于「资源列表」而非具体预备级工作,不主张升档(可作 §1.(4) 量化承接级候选补强)。
六、值得警惕的矛盾或待核实说法
6.1 矛盾候选(若需新增矛盾位)
- D267(候选新增) ⚠⚬⚬ jay 17:35 与 jay 09:35 笔记中 prithivMLmods/Qwen3.6-35B-A3B-FP8 模型名称不一致:09:35 笔记中「Qwen3.6-35B-A3B-FP8」(35B · A3B),17:35 笔记中「Qwen3.6-35A-A3B-FP8」(35A · A3B),URL 中实际为「35A-A3B」。应以 URL 「35A-A3B」为准(35A = Qwen3.6-35B 系列代号 · A3B = 30 亿激活参数),但两版笔记并列出现需要在 evening 棒位之前明确模型名称规范。截止 evening 棒位前。
6.2 沿用待精读/待核
- D262(沿用待精读) ⚠⚬⚬ CrossTimeEdit(arXiv:2609.36616)适用范围待精读。本日材料无直接关联,沿用 v3.59 morning 截止 10-15 morning 棒前(已过期至 10-16 morning 棒前)。
- D263(沿用待精读) ⚠⚬⚬ Graph Engineering(arXiv:2608.21156)工程可操作性待精读。本日无新材料,沿用截止 10-16 morning 棒前。
- D264(沿用待精读) ⚠⚬⚬ Forms of LLM-Apps(arXiv:2610.11899)七种形态在工业部署中的采纳度统计待核。本日无新材料,沿用截止 10-16 morning 棒前。
- D265(沿用) ⚠⚬⚬ ruby_llm Ruby 生态 LLM 框架工程化深度 vs Python 生态主导地位张力。本日无新材料,沿用截止 10-16 morning 棒前。
- D266(沿用) ⚠⚬⚬ kordoc 韩国 HWP/HWPX MCP 服务器在通用文档解析器生态中的差异化定位。本日无新材料,沿用截止 10-16 morning 棒前。
6.3 承接稳态期材料的承接判定
- jay 17:35 #1 vLLM vs SGLang(Red Hat 403)与 v3.59 morning §1.(1) 推理引擎代际切换双栖预备级承接良好,不主张二次升档,但建议 evening 棒位通过 web_search 替代来源核实。
- jay 17:35 #7 Kaitchup #24 = 2024 旧刊,与本批主题脱钩,不主张入正文。
- Material 2 (ByteProof/0★)—— 此份不在本批 8 份清单中,避免混淆。
- Material 3 (amos689/paper-preflight · 62★)主分类 academic-writing,不主张升档。
- Material 4 (hproxy-com/free-proxy-list · 78★)主分类 agent,与 llm-infra 主线脱钩,建议 evening 棒位忽略。
- Material 5 (ray-project/ray · 44,029★)主分类 llm-infra,稳定增长承接稳态期,不主张升档。
- Material 6 (langfuse/langfuse · 35,838★ · 周增 +476)主分类 evaluation,可作 §1.(11) Harness 承接级旁注,不主张升档。
- Material 7 (AI-Efficiency/Awesome-Model-Quantization · 2,455★)主分类 llm-infra,但属于资源列表不主张升档。
七、可引用的 arXiv 号列表
本批 8 份 materials 中没有直接 arXiv 编号。jay 17:35 中提到的 arXiv 号需重新核查(主要为模型卡片中的 snippet,非论文):
- 未在本批引入新 arXiv 号(本批均为模型卡片 + GitHub 仓库 + Substack 经验文章)
活文档 v3.59 morning 全量 arXiv 478 件已锚定,本批承接稳态期不引入新 arXiv 号,沿用 v3.59 morning §6.99.2 全量 arXiv 闭合。
八、本批简报结论(partial)
- 本日对 llm-infra 主线的可引用 NET-new 论据 = 1 条 = jay 17:35 中的 Hy3-FP8 已核实基础信息 = 国产 MoE 第 2 例预备级候选(腾讯 295B/21B 激活/3.8B MTP/256K context/192 experts top-8 + 270 位专家盲评 2.67 vs 2.51)
- 承接稳态期材料 = 7 份(jay 17:35 中 7 条「搜索线索 · 待核查」+ karpathy/llm.c + amos689/paper-preflight + hproxy-com/free-proxy-list + ray-project/ray + langfuse/langfuse + AI-Efficiency/Awesome-Model-Quantization + jay 09:35 重复),均已在 v3.58-59 morning 锚定或与主线脱钩。
- 今晚 evening 棒位动作建议:
- §0 一句话综述可考虑增补「承接稳态期第 N 天 + 国产 MoE 第 2 例预备级候选(Hy3-FP8)」说明;
- §1.(10) 国产 MoE 可考虑增补 Hy3 295B/21B 激活承接级(Kimi K3 第 1 例 → Hy3 第 2 例);
- §1.(5) 投机解码可考虑增补 MTP 推测解码在 vLLM 0.30+ 中以 speculative-config 形式工程化承接级;
- §3 共识与争议可加 C365 候选预备级(国产 MoE 第 2 例)与 D267(jay 17:35 vs 09:35 模型名称矛盾);
- §6.99 全量计数沿用闭合(arXiv/CVE/DOI/URL 478/36/15/634)不变;
- D262/D263/D264/D265/D266 沿用截止 10-16 morning 棒前;
- repo_cards 5 件全部不升档(可作 §1.(11) 工程化承载承接级旁注或忽略)。
- 简报字数说明:本次清单 8 份 materials 中 1 份为 NET-new 强论据(jay 17:35 Hy3-FP8),7 份为承接稳态期材料。按「材料不足则简明处理,不强行达到旧提示词字数」规则,简报 ~2,000 字(不含表格),已达有效传递精度。报告 partial —— 清单 items=8 但强 NET-new 论据=1 条 + 承接稳态期材料=7 份,符合「不足三项不补齐」原则的有效增量处理。
九、本批检查过的来源(诚实列出,便于审计)
- /shared/research-kb/inbox/jay/2026-10-15T1735-blogs-discovery.md(完整)
- /shared/research-kb/inbox/jay/2026-10-15T0935-blogs-discovery.md(完整)
- /shared/research-kb/organized/repo_cards/598-karpathy-llm-c.md(完整)
- /shared/research-kb/organized/repo_cards/4396-amos689-paper-preflight.md(完整)
- /shared/research-kb/organized/repo_cards/3674-hproxy-com-free-proxy-list.md(完整)
- /shared/research-kb/organized/repo_cards/005-ray-project-ray.md(完整)
- /shared/research-kb/organized/repo_cards/008-langfuse-langfuse.md(完整)
- /shared/research-kb/organized/repo_cards/4394-ai-efficiency-awesome-model-quantization.md(完整)
- /shared/research-kb/organized/knowledge/llm-infra.md(v3.59 morning 沿用基线核读)
- /shared/research-kb/inbox/spark/2026-10-14-llm-infra-e1prep.md(昨日简报对照核读)
未触碰清单以外的其他同事笔记(遵守「禁止全库扫描、不为他人的额外笔记补料」、work-guard 「仅处理清单条目;不足三项不补齐,不回退扫描全库」)。
status: partial(清单 8 项 = 1 条强 NET-new 论据 Hy3-FP8 国产 MoE 第 2 例预备级 + 7 份承接稳态期材料 + 1 候选矛盾 D267 jay 笔记模型名称不一致) 增量条数:1 条强 NET-new 论据 + 7 份承接稳态期材料 + 1 候选矛盾 D267 涉及 arXiv 号:0 NET-new(本批无新论文 arXiv 号,均为模型卡片 + GitHub 仓库 + Substack 经验文章;活文档 v3.59 morning 基线 478 件 arXiv 沿用闭合) 建议 evening 棒位动作:沿用 v3.59 morning 478/36/15/634 闭合不变;§1.(10) 国产 MoE 可增补 Hy3 承接级候选;§1.(5) 投机解码可增补 MTP-via-speculative-config 承接级;§3 可加 C365 + D267;§4 沿用 O1-O587 + 可加 O588 国产 MoE 第 2 例预备级审计(截止 10-16 morning 棒前);D262-D266 沿用截止 10-16 morning 棒前