博客发现 · 2026-10-21

作者:Jay

来源清单


1. Dolphin / Venice VVV 代币经济机制

标题: Dolphin Links AI Inference to POD — Alea Research
URL: https://alearesearch.substack.com/p/dolphin-links-ai-inference-to-pod
摘要用途: 了解 inference credits 与 VVV 质押代币的 POD 容量机制设计,适合研究 AI 推理与代币经济学交叉场景
证据缺口: 仅搜索摘要片段,无完整机制说明;staked VVV 每日容量释放比例、Venice 平台关联需进一步核查
分类: 搜索线索 · 待核查


2. Google 发布 llm-d 1.0 开源分布式推理栈

标题: llm-d 1.0, an open source stack for distributed inference | Google Cloud Blog
URL: https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference
摘要用途: 了解 llm-d 1.0 作为 CNCF Sandbox 项目、500+ 贡献者、25 组织共建的 Kubernetes 原生分布式 LLM 推理技术定位;vLLM + SGLang + Kubernetes 三方融合架构
原文核查: ✅ 已核查标题、副标题、发布场景(PyTorch Conference)
证据缺口: 网页返回内容被截断,Cache-aware routing、tiered KV cache、多租户流量控制等产品细节未获取完整;CNCF Sandbox 成熟度状态待确认
分类: 高价值线索(已部分核查) · 建议追踪


3. SGLang vs vLLM 推理引擎对比(Contabo 博客)

标题: SGLang vs vLLM: Which Inference Engine Fits Your GPU VPS? | Contabo Blog
URL: https://contabo.com/blog/sglang-vs-vllm
摘要用途: 了解 SGLang RadixAttention 与 vLLM 在 KV cache 复用、batch 策略、硬件覆盖、社区生态等方面的技术差异;适合选型参考
证据缺口: 仅搜索摘要,无性能实测数据;Contabo 为境外 VPS 商,文章中立性与数据新鲜度需核实
分类: 搜索线索 · 待核查


4. Google 宣布 vLLM / SGLang 原生 TPU 后端

标题: Announcing New vLLM and SGLang Inference Engines on TPU — Google Developers Blog
URL: https://developers.googleblog.com/announcing-new-vllm-and-sglang-inference-engines-on-tpu
摘要用途: 了解 vLLM(Inferact 合作)与 SGLang(RadixArk 合作)TorchTPU 后端发布信息;Meta SGLang-TorchTPU 已大规模生产部署的引用声明;路线图方向
原文核查: ✅ 已核查标题、发布日期(OCT. 20, 2026)、作者 Qi Zhou / Chris Chan
证据缺口: 网页内容截断,TorchTPU 集成细节、生产案例具体数据、路线图特性列表未获取;与 llm-d 1.0 是否共享底层技术待确认
分类: 高价值线索(已部分核查) · 建议追踪


5. ai-dynamo/dynamo 数据中心级分布式推理框架

标题: GitHub — ai-dynamo/dynamo: A Datacenter Scale Distributed Inference Serving Framework
URL: https://github.com/ai-dynamo/dynamo
摘要用途: 了解 dynamo 定位为准入层编排工具,支持 vLLM / SGLang / TensorRT-LLM 多后端;Quick Start 容器部署命令片段
证据缺口: 仅搜索摘要片段,dynamo 与 llm-d / Ray Serve / NVIDIA Dynamo 的分工边界不明确;仓库维护状态、star 数、许可证未核实
分类: 搜索线索 · 待核查


6. modelexpress 文档:vLLM / SGLang NIXL RDMA 权重传输

标题: modelexpress/docs/DEPLOYMENT.md — ai-dynamo/modelexpress
URL: https://github.com/ai-dynamo/modelexpress/blob/main/docs/DEPLOYMENT.md
摘要用途: 了解 ModelExpress 通过 NVIDIA NIXL over RDMA 实现 GPU-to-GPU 权重传输;vLLM 0.23.0+ --load-format modelexpress 原生支持;SGLang remote_instance + modelexpress 后端配置;环境变量 MX_ARTIFACT_READY_URL / MX_P2P_RUNTIME_METRICS_URL
证据缺口: 仅搜索摘要,vLLM 0.23.0 发布版本与 NIXL 集成稳定性、ModelExpress 与 dynamo 关系未核实;实际生产 RDMA 延迟数据缺失
分类: 搜索线索 · 待核查


7. SGLang 主仓库

标题: GitHub — sgl-project/sGLang: Fast inference for LLMs and multimodal models
URL: https://github.com/sgl-project/sglang
摘要用途: 了解 SGLang 生态定位:集成 llm-d、Ray Serve、NVIDIA Dynamo;被 Meta 等主要 AI 实验室与云平台使用;学习资源(DeepLearning.AI、zero-to-sglang);与 vLLM、LightLLM、FlashInfer 的代码继承关系
证据缺口: 仅搜索摘要;版本号、PyPI 下载量、实际生产案例规模未核实;CNAME / sglang.io / 官方文档待跳转确认
分类: 搜索线索 · 待核查


8. StepFun Step-5 Preview 模型

标题: GitHub — stepfun-ai/Step-5-Preview
URL: https://github.com/stepfun-ai/Step-5-Preview
摘要用途: 了解 Step 5 Preview 旗舰模型的 agentic 能力定位(代码工程、前端视觉开发、长时序 agent 执行);vLLM / SGLang FP8 + BF16 部署命令;Speculative decoding 支持
证据缺口: 仅搜索摘要;Step-5 Preview 实际模型规模、 benchmark 性能数据、StepFun 公司背景未核实;FP8/BF16 精度差异与生产建议缺失
分类: 搜索线索 · 待核查


总结

维度 数据
线索总数 8
已原文核查 2(llm-d 1.0 标题场景、Google vLLM/SGLang TPU 发布日期)
待核查 6
高价值待深挖 llm-d 1.0 CNCF 生态进展、TorchTPU 后端生产案例

未决问题: 1. llm-d 1.0 与 dynamo / NVIDIA Dynamo 是否为竞争或互补关系? 2. modelexpress 与 dynamo 官方关系(同一组织还是独立项目)? 3. SGLang-TorchTPU 在 Meta 生产规模的具体数字(节点数、模型规模)? 4. Step-5 Preview 是否已公开发布权重或仍为私有预览?