研究知识库 · Jay 技术博客与开源动态 · 2026-10-22 09:35
作者:Jay
摘要
本批 6 条来源中,2 条完成原文核查(llm-d v1.0 发布博客、Qwen3.8-Max 模型可移植性分析),其余 4 条仅有搜索摘要线索。已核查的两条集中在"分布式推理标准化"与"模型权重可移植"两条主线,对自建推理栈的评估与采购决策有直接参考价值;未核查的 4 条中,Podman 播客、SGLang 仓库、CCUS 燃煤电厂碳捕集、AI Agent 读书单三条暂列待查线索,SGLang 仓库因指向上游官方项目,具备作为基础设施选型线索的价值但本次未取正文证据。
逐项整理
1. llm-d v1.0: State-of-the-art inference, ready for Day 2(已核查正文) - 用途:llm-d 首个正式大版本,确立分布式推理编排层的"Day 2"工程基线,覆盖 AMD Instinct MI355X(AINIC)、Google Cloud TPU(TorchTPU)、NVIDIA Hopper/Blackwell/GB200/GB300 多硬件的官方部署指南;含前缀缓存路由、KEDA 自动扩缩容、MoRI-IO/NIXL/TPU Sync 支撑的 prefill-decode 分离与分级 KV offload。 - 证据:原文自述 500+ 贡献者、25+ 组织;自报 TPU 7x 上 agentic coding 负载 TTFT 中位数下降 >85%、总吞吐 2.4x(对普通 K8s Service 基线),均为厂商自述基准,非独立复现。 - 缺口:无第三方复现;具体版本号、镜像地址、KEDA/NIXL 依赖版本未在摘录段落中给出;GPU 侧性能数字未列。 - 建议分类:已核查 · 高价值(推理基础设施选型与架构参考)
2. Alibaba Just Made Model Portability a Procurement Question(已核查正文) - 用途:Qwen3.8-Max 规格与开放权重意图的采购含义解读。模型 2.4T 参数稀疏 MoE,推理激活约 95B,多模态输入,1M token 上下文;云上定价 $2/M 输入、$6/M 输出 token。核心论点是"模型选择"与"推理承载方选择"解耦,同一权重可由不同运营方托管。 - 证据:规格与定价为原文明确陈述;发布与定价属厂商声明,未做成本对照测算。 - 缺口:权重开放的具体条款(许可、商用范围、开放时间表)仅见于付费墙后段落,本次未取得;未核实是否已有第三方提供同权重部署。 - 建议分类:已核查 · 中高价值(模型可移植性与采购/架构决策)
3. Revolutionizing Containers: Podman, Buildah, and Open Source with Dan Walsh (Part 1) - 用途:Podman/Buildah/CRI-O/Skopeo 生态与无守护容器运行时的一手访谈录,线索含 SELinux 文档与《Podman in Action》免费 PDF。 - 证据缺口:无正文,仅搜索摘要;摘要多为站点导航与链接列表,技术论点未确认。搜索线索 · 待核查。 - 建议分类:待核查线索 · 容器安全与运行时方向
4. Large-Scale Carbon Capture at Coal-Fired Power Plants Moves into Commercial Deployment in China - 用途:中国燃煤电厂全烟气碳捕集从示范走向商业化部署(GD Power 金鸡项目)的工程与市场分析。 - 证据缺口:无正文;无版本、环境、命令、源码或实测证据。搜索线索 · 待核查。 - 建议分类:待核查线索 · 能源与工业(低优先,非技术主线)
5. GitHub - sgl-project/sglang - 用途:SGLang 高性能 LLM/多模态服务框架官方仓库,摘要提及 SMG/RBG/llm-d/Ray Serve/NVIDIA Dynamo 生态位与教育资源(Mini-SGLang、DeepLearning.AI 课程),可作推理引擎选型线索。 - 证据缺口:未读取 README 正文;无版本号、实测数据或复现记录。搜索线索 · 待核查。 - 建议分类:待核查线索 · 推理框架基础设施
6. Neo Kim: AI Agent 必读 10 本书(systemdesignone 笔记) - 用途:AI Agent 方向书单(AI Engineering、Agentic AI、AI Agents in Action、Hands-On LLM、Principles of Building AI Agents、Building Applications with AI Agents、Building Agentic AI Systems、Building Agentic AI、Prompt Engineering、Designing Multi-Agent Systems),可作学习路径线索。 - 证据缺口:无正文,书目与推荐语为作者主观整理,无版本/版本号/可核查内容。搜索线索 · 待核查。 - 建议分类:待核查线索 · 学习资料(低优先)
待核查说明与未决问题
- 已核查 2 条(llm-d v1.0、Qwen3.8-Max 文章),均取得正文段落级证据,可作引用;其性能数字仍属厂商自述,未做独立复现,不应表述为"已核实性能"。
- 未核查 4 条全部保留待查线索标注,未做任何"读过全文/含完整代码/已复现"表述。
- 本批无 CSDN 条目,未出现需按低价值降级处理的条目。
- 未决问题:(a) Qwen3.8-Max 权重开放的许可与时间表在付费墙后,待后续可用渠道确认;(b) llm-d v1.0 各硬件路径的具体组件版本与镜像标签待查官方仓库;(c) SGLang 与 llm-d/SGLang 在 SGLang 自身生态中的定位表述在截断片段中语义不完整,需读 README 确认。
来源清单
- llm-d v1.0: State-of-the-art inference, ready for Day 2 — https://llm-d.ai/blog/llm-d-v1.0-state-of-the-art-inference-ready-for-day-2 (已核查)
- Alibaba Just Made Model Portability a Procurement Question — https://cioinsights.substack.com/p/alibaba-just-made-model-portability (已核查)
- Revolutionizing Containers: Podman, Buildah, and Open Source with Dan Walsh (Part 1) — https://alexasinput.substack.com/p/revolutionizing-containers-podman-51d (待核查)
- Large-Scale Carbon Capture at Coal-Fired Power Plants Moves into Commercial Deployment in China — https://chinahydrogen.substack.com/p/large-scale-carbon-capture-at-coal (待核查)
- GitHub - sgl-project/sglang — https://github.com/sgl-project/sglang?%3Fref=premai.io (待核查)
- Neo Kim: AI Agent 必读 10 本书 — https://substack.com/@systemdesignone/note/c-298397965 (待核查)