研究简报 · 推理引擎 & 向量数据库 · 2026-08-09

实例：Jay · 覆盖：本轮 Tavily 检索（GitHub Trending · Hugging Face · vLLM Blog · ArXiv · Substack · CSDN）· 去重依据：2026-08-09*.md 系列

🤖 LLM 推理引擎

⭐ 高价值条目

1｜vLLM v0.20.2 生产部署指南（2026-05）

• 来源： Spheron Blog · site:spheron.network
• URL： https://www.spheron.network/blog/vllm-production-deployment-2026
• 发布时间： 2026-04（持续更新）
• 评级： ⭐⭐⭐⭐
• 核心内容：
• v0.20.2（2026-05 稳定版）生产级配置清单：Multi-GPU Tensor Parallel + FP8 Docker on H100
• 三个核心监控指标：vllm:num_requests_waiting（队列深度）、vllm:kv_cache_usage_perc（KV Cache 填充率）、vllm:time_to_first_token_seconds（TTFT 延迟）
• 与 Prometheus + DCGM 集成方案
• Llama Stack on GPU Cloud 集成方案（inference + safety + agents + RAG 捆绑部署）
• Devstral（24B 编程模型）工具调用部署指南
• 工程价值： 高——生产级 Kubernetes YAML 示例、自动扩缩容配置
• 后续行动： 精读；补充 YAML 示例到知识库「vLLM 生产部署」主题页

2｜vLLM Blog 最新更新摘要（2026-07）

• 来源： vLLM 官方博客 · vllm-project.github.io
• URL： https://vllm-project.github.io
• 发布时间： 2026-07（持续更新）
• 评级： ⭐⭐⭐⭐⭐
• 核心条目（按时间排序）：

• 后续行动： 重点关注 EAGLE3（AMD 投镖解码）、TileRT（低延迟专用 decode）、vime（RL 框架）、Native RL APIs 这几个方向的工程可行性

3｜vLLM v1 Engine 架构解析（2025→2026）

• 来源： SitePoint · site:sitepoint.com
• URL： https://www.sitepoint.com/vllm-production-deployment-guide-2026
• 发布时间： 2026-06
• 评级： ⭐⭐⭐⭐
• 核心内容：
• V1 Engine（2025 成为默认）：重构了调度层，引入 Automatic Prefix Caching（APC）—— 相同 system prompt 或 few-shot 前缀的请求共享 KV blocks，减少 redundant prefill
• vLLM Continuous Batching vs Dynamic Batching 区别
• 生产级 K8s Deployment manifest（含 topologySpreadConstraints、Prometheus annotations）
• API Key 安全配置：VLLM_API_KEY 环境变量
• 后续行动： 补充到「vLLM 架构演进」主题页；关注 APC 对多租户 Agent 场景的价值

4｜2026 主流推理引擎横评：vLLM · SGLang · TensorRT-LLM · TGI

• 来源： Yotta Labs · site:yottalabs.ai
• URL： https://www.yottalabs.ai/post/best-llm-inference-engines-in-2026-vllm-tensorrt-llm-tgi-and-sglang-compared
• 发布时间： 2026-07-13
• 评级： ⭐⭐⭐⭐
• 核心内容：
• 四框架定位对比：vLLM（生态最广）、SGLang（结构化生成领先）、TensorRT-LLM（延迟最低）、TGI（HuggingFace 原生）
• PagedAttention 原理 vs TensorRT graph compilation 的 trade-off
• TensorRT-LLM "configuration wall"：编译时间 10-30 分钟，冷启动瓶颈
• EU 数据主权对推理引擎选型的影响
• 关键结论： 训练得到关注，推理才是成本核心；企业级主要在 vLLM 和 TensorRT-LLM 之间选择
• 后续行动： 补充到「推理框架选型决策矩阵」

5｜Colibri：纯 C 零依赖推理引擎（GitHub Trending）

• 来源： GitHub Trending · 2026-07
• Stars： ~14.7K（增长中）
• URL： https://github.com/toblerity/colibri（推断，待核验）
• 评级： ⭐⭐⭐⭐
• 核心内容：
• 纯 C 实现，零外部依赖，可在嵌入式系统或极轻量环境运行
• 支持 744B MoE 模型推理
• 对标 llama.cpp / ollama 的轻量级方案
• 可信度评估： 待核验 GitHub 官方链接；Stars 增长快，社区关注度高
• 后续行动： 查找真实 GitHub URL；评估对边缘推理场景的适用性

📐 系统与理论（ArXiv 精选）

⭐ 高价值条目

6｜AMPD：多轮 LLM 推理的解聚服务（ICML 2026）

• arXiv： 2602.14516 · cs.DC
• 会议： ICML 2026
• 评级： ⭐⭐⭐⭐⭐
• 核心观点：
• 问题：Multi-round LLM 工作流（ReAct Agent 工具调用、迭代 RAG）产生交错的 prefill-decode 负载，PD co-location（vLLM）和 PD disaggregation（Dynamo）各有瓶颈
• 方案：AMPD（Adaptive Multi-round Prefill/Decode）—— 自适应决定每个请求阶段是 co-locate 还是 disaggregate
• 基线对比：AMPD vs vLLM（PD co-lo）、vLLM-Continuum（multi-round 专用）、Dynamo（PD disaggregation）
• multi-round 场景：Agent（ReAct）和 迭代 RAG 是两大代表
• 可信度： ICML 2026 录用，系统工作，实验充分
• 后续行动： 精读；评估与 vLLM-Continuum 的功能重叠和差异化价值

7｜LAAR：长上下文感知的分布式 LLM 路由（arXiv）

• arXiv： 2604.15732
• 评级： ⭐⭐⭐⭐
• 核心观点：
• 长上下文（>100K token）场景下，prefill 计算成为成本主体，内存带宽成为瓶颈，缓存局部性变得关键
• LAAR（Long-context-Aware Adaptive Routing）：LLM-d MaxScorePicker + Envoy EPP filter 实现
• 路由策略：load-aware、session-affinity、cache-affinity
• 实现为 Envoy Endpoint Picker Policy
• 后续行动： 关注与 llm-d 项目的集成；对长上下文 RAG 和 Agent 场景有直接价值

8｜LLM Serving 需要数学优化，而不是启发式（Position Paper，ICLR 2026）

• arXiv： 2605.01280 · OpenReview
• 会议： ICLR 2026（Under Review）
• 评级： ⭐⭐⭐⭐
• 核心观点：
• 当前 LLM serving 的请求路由和负载均衡主要依赖 heuristics，缺乏 worst-case 理论保证
• 论文证明：即使在对抗性请求序列下，优化方法可达到 Ω(√(B log G)) 的 imbalance 改善因子（与基线比）
• B = per-worker batch size，G = worker 数量；收益随集群规模和 batch 容量增加而增加
• 理论价值： 高；工程界常低估理论保证的价值，此 paper 桥接了 OR 优化社区和 LLM serving 社区
• 后续行动： 泛读；与 LAAR（2604.15732）对比阅读

9｜Training-Free Self-Scheduling for Efficient LLM Inference Serving（ICLR 2026）

• OpenReview： hZmG4z68Je
• 会议： ICLR 2026（Under Review）
• 评级： ⭐⭐⭐⭐
• 核心观点：
• 自调度方法避免 head-of-line blocking，实现高吞吐、低延迟
• 无需训练，在线调度
• 后续行动： 关注 self-scheduling 与 vLLM continuous batching 的关系

☁️ 部署平台与工具链（中文社区 + Substack）

高价值条目

10｜2026 年模型部署与服务平台终极指南

• 来源： SiliconFlow 技术博客（中文）
• URL： site:siliconflow.com + site:blog.csdn.net
• 发布时间： 2026-08（持续更新）
• 评级： ⭐⭐⭐⭐
• 核心内容（Top 5 平台）： 1. SiliconFlow：无服务器 + 专用端点 + 弹性 GPU；自研推理引擎，H100/H200 优化；实测推理速度比竞品快 2.3×，延迟降低 32% 2. Hugging Face Inference Endpoints：NLP 部署友好，一键部署，大量预训练模型 3. Firework AI：无 DevOps 经验的团队友好，内置协作和版本控制 4. Seldon Core：Kubernetes 原生，开源，A/B 测试 + 金丝雀发布 5. NVIDIA Triton：GPU 加速，高性能，多框架支持，动态批处理
• 选型建议： SilkconFlow 适合国内业务；HuggingFace 适合海外；Seldon Core 适合 K8s 深度定制
• 后续行动： 可纳入「模型部署平台选型」参考页

11｜2026年 AI 应用开发技术路线（中文）

• 来源： CSDN · site:blog.csdn.net
• URL： https://blog.csdn.net/xcyqsy/article/details/162764752
• 发布时间： 2026-08-07（最新推荐）
• 评级： ⭐⭐⭐⭐
• 核心观点：
• AI 应用开发工程师 = 后端工程师 + AI 系统架构师
• 技能栈分层：LLM API → Prompt → RAG → Agent → Tool Calling → Memory
• 推荐路径：Spring AI → LangChain/LangGraph → LlamaIndex → Vector DB → Model Fine-tuning
• 企业知识助手平台实战项目路径
• 后续行动： 可作为「AI 应用开发工程师学习路径」参考，不作为精读材料

📋 分类标签汇总

vLLM SGLang TensorRT-LLM TGI Colibri 推理引擎 生产部署 Continuous Batching PagedAttention Prefix Caching EAGLE3 Speculative Decoding TileRT vime RL Post-Training AMD ROCm MoE llm-d Semantic Router DiffusionGemma llm-d LAAR AMPD Multi-round Inference Disaggregated Serving Long-context Mathematical Optimization Self-Scheduling ICML2026 ICLR2026 部署平台 SiliconFlow Seldon Core Triton AI应用开发

📁 建议写入路径

草稿路径： /shared/research-kb/inbox/jay/2026-08-09T1735-jay-inference-engine-vector-db-arxiv-substack.md

后续行动建议：

Jay · 2026-08-09T17:35 · 研究知识库 · 本轮 Tavily 检索