知识库草稿 · Jay · 2026-08-01 13:35（午间高频推送）
本次主题
arXiv LLM 推理系统工程论文 + 推理引擎 2026 基准对比 + GitHub Trending · 午间高频采集
检索范围
- arXiv: LLM inference serving, KV-cache scheduling, PD disaggregation, 2026
- GitHub Trending Python（daily）
- Hugging Face Models trending 2026-08-01
- Tavily: vLLM/SGLang/TensorRT-LLM benchmark, vector DB benchmark 2026
- Substack: LLM inference engineering, 2026
一、arXiv 高价值论文（2026 新发布）
A1 · GoodServe: Agentic LLM 推理的高 Goodput 调度 ⭐⭐⭐⭐⭐
arXiv: https://arxiv.org/html/2605.16867v1
作者/机构: （具体机构待确认）
时间: arXiv 2026-05
标签: #LLM-Serving #Agentic #E2E-SLO #Scheduling #Goodput
可信度: 高（arXiv 预印本，来自主流 LLM 系统社区）
工程价值: ⭐⭐⭐⭐⭐
核心问题
Agentic LLM 推理有明确的端到端延迟 SLO 要求（E2E-SLO），系统需最大化 goodput（满足 SLO 的请求比例）。
关键技术贡献
- 问题建模： 在 GPU 异构资源上调度 agentic LLM 推理，将 GPU 组合作为输入条件而非优化目标（与 SageServe、llm-d 互补）
- 与 vLLM 的关联： 指出主流 LLM 框架（vLLM 2026）中，batched serving 模式下 request-rr 在 GPU-gg 上的实际执行效率受形状（LinL 和 LoutL）和竞争请求共同影响，难以精确计算
- 调度策略： 提出在异构 GPU 资源下最大化 goodput 的在线调度框架
工程关联
- 与 vLLM PagedAttention 的 KV-cache 管理直接互补
- 可为 agentic 推理服务的 SLO 保障提供调度层参考
- 建议： 精读原文调度算法伪代码，与 vLLM 调度器行为对照
A2 · AMPD: 多轮 LLM 推理的分不解离 Serving 框架 ⭐⭐⭐⭐
arXiv: https://arxiv.org/html/2602.14516v2
时间: 2026-02（最新版本）
标签: #PD-Disaggregation #Multi-round-Inference #Prefill-Reduce #Scheduling
可信度: 高（arXiv + 2026 系统论文）
工程价值: ⭐⭐⭐⭐
核心问题
多轮 LLM 推理（ReAct 风格 agent）中，prefill 和 decode 工作负载交替出现，传统 PD 分不解离（co-location）或固定分离策略均无法高效适应这种交错模式。
AMPD 方案
- 自适应路由机制（Adaptive Routing）： 根据运行时 prefill/decode 负载动态分配资源
- Prefill 重新排序策略（Prefill Reordering Policy）： 平衡 prefill 和 decode 负载
- 对比基线： 与 vLLM（PD co-location）、NVIDIA Dynamo（固定 PD 分离）对比
关键数据（来自论文）
AMPD 相比 Dynamo 在多轮推理场景下有显著效率提升，具体数据需精读原文。
工程关联
- 与 NVIDIA Dynamo 路线直接竞争（Dynamo 2026b 是其分不解离 baseline）
- 对 SWE-Bench、BFCL 等 agent 基准有针对性优化
- 建议： 关注 prefill reorder 策略可否迁移到 vLLM/SGLang 调度器
A3 · LLM Serving 需要数学优化而非启发式 ⭐⭐⭐⭐
arXiv: https://arxiv.org/html/2605.01280v1
时间: 2026-05
标签: #LLM-Serving #Optimization #Mathematical-Foundations #Load-Balancing
可信度: 高（arXiv）
工程价值: ⭐⭐⭐⭐
核心论点
LLM serving 中的请求路由和 DP 负载均衡问题需要数学优化框架，而非经验性启发式。
关键发现（来自 Chen et al. 2026）
- 数据并行 LLM 解码中 barrier-synchronized sticky-assignment 设置下的负载均衡问题结构与 MoE 负载均衡有本质不同
- 优化后算法在对抗性请求序列下，仍能减少长期平均负载不均衡，缩放因子为 Ω(sqrt(B log G))（B = 每 worker batch size，G = worker 数）
- 核心优势： 优化方法可提供最坏情况保证，不依赖请求分布、数据集、到达频率等假设
工程关联
- 为 vLLM/SGLang 的请求路由层提供理论依据
- 可用于评估生产环境中不同负载均衡策略的理论上限
- 建议： 关注整数规划公式，与实际生产调度策略对照
A4 · AIConfigurator: 多框架 LLM Serving 配置优化 ⭐⭐⭐
arXiv: https://arxiv.org/html/2601.06288v1
时间: 2026-01
标签: #LLM-Serving #Configuration-Optimization #vLLM #SGLang #TensorRT-LLM
可信度: 高（arXiv）
工程价值: ⭐⭐⭐
核心贡献
针对 vLLM、SGLang、TensorRT-LLM 等多框架的"最后一公里"配置优化问题：
| 优化维度 | 具体技术 |
|---|---|
| 先进调度 | Continuous Batching、PagedAttention、Chunked Prefills、PD Disaggregation |
| 模型并行 | TP、PP、Expert Parallelism（MoE） |
| 推理优化 | Kernel Fusion、Tensor Optimization、Memory Layout Tuning |
工程关联
- 为实际部署提供跨框架配置参考
- 涉及 FlashAttention3、FlashInfer、FlashMLA 等 kernel 选型
- 建议： 作为多框架对比的背景文献
A5 · Workload-Router-Pool Architecture: vLLM Semantic Router 项目愿景论文 ⭐⭐⭐⭐
arXiv: https://arxiv.org/html/2603.21354v2
时间: 2026-03
标签: #LLM-Serving #Router #Model-Cascading #KV-cache #Production
可信度: 高（vLLM 社区 + NeurIPS/ICML 2026 引用）
工程价值: ⭐⭐⭐⭐
核心架构（三维度协同优化）
- Workload（工作负载）： 请求特性、TTFT/SLO 分布
- Router（路由）： 模型路由、语义路由、SLO 感知的 admission control
- Pool（资源池）： KV-cache 管理、多模型级联
关键引用系统
| 系统 | 会议/年份 | 关键技术 |
|---|---|---|
| AGSERVE | NeurIPS 2025 | Session-aware KV-cache + model cascading |
| Helium | - | Agentic workflow as query plans + proactive caching |
| SUTRADHARA | - | Orchestrator + serving engine co-design |
| Continuum | - | KV-cache TTL pinning for multi-turn scheduling |
| Concur | ICML 2026 | Agent-level admission control |
重要发现
- Silent drift detection： 监控 per-(model, domain) 统计数据检测模型质量回归（2026-03 有实际案例：frontier model 无代码变更静默降级到 mid-tier）
- 3σ 偏离滑动窗口基线时自动触发流量重平衡
工程关联
- 为生产 LLM serving 的观测和稳定性保障提供架构框架
- 与 vLLM 0.7+ 的 streaming parser 和 model runner v2 直接对齐
- 建议： 作为生产 LLM serving 架构设计参考，结合 vLLM 官方文档精读
A6 · Fluid-Guided: 带内存约束的 LLM 推理流体引导在线调度 ⭐⭐⭐
arXiv: https://arxiv.org/html/2504.11320v4
时间: 2025-04（2026 更新 v4）
标签: #KV-cache #Eviction #Scheduling #vLLM #Memory-Management
可信度: 高（arXiv）
工程价值: ⭐⭐⭐⭐
核心问题
当总 KV cache 超过 GPU 显存容量时，系统必须驱逐部分 in-progress prompts。两种方法： 1. Swap 到 CPU/SSD（I/O 开销） 2. Recomputation（丢弃 KV cache，从 prefill 重新开始）
方案
聚焦 recomputation（现代生产系统如 vLLM 2026 的默认策略），提出 Fluid-Guided 调度算法，通过流体引导最小化驱逐。
技术细节
- 基于 Vidur 模拟器（A100 80GB，Llama-2-7B，FP16 KV-cache token 占 0.5 MiB）
- 分析了 baseline 1% memory margin 下的 KV-cache cap 配置
工程关联
- 与 vLLM PagedAttention 的 KV-cache 管理机制直接相关
- Recomputation 策略是 vLLM 生产部署中的关键调参点
- 建议： 与 vLLM 源码中 eviction 策略对照阅读
二、推理引擎 2026 基准对比（综合整理）
引擎对比总览
| 引擎 | 硬件覆盖 | H100 吞吐 | DeepSeek V3 加速 | KV-cache 管理 | 特色 |
|---|---|---|---|---|---|
| vLLM | NVIDIA + AMD + Intel + TPU + Trainium + Inferentia + Arm | 参考基准 | 1x（baseline） | PagedAttention | 生态最广，Model Runner V2 |
| SGLang | NVIDIA（主）+ AMD | H100 高29% vs vLLM | 3.1x vs vLLM | RadixAttention | DeepSeek MLA 深度优化，Multi-Token Prediction |
| TensorRT-LLM | NVIDIA（仅） | 并发越高优势越大（8-13%） | - | 编译时优化 | 编译后性能最强，kernel fusion |
| MAX (Modular) | 全平台 | 16% > vLLM (L40) | - | Mojo kernel | 非 CUDA，跨平台统一 |
数据来源： Spheron Blog (2026 H100 benchmark)、Particula Tech (SGLang vs vLLM)、Deploybase AI
SGLang vs vLLM 详细对比（Particula Tech, 2026）
SGLang 优势场景： - DeepSeek V3：3.1x faster inference via 优化 MLA（FlashAttention3/FlashInfer/FlashMLA/CutlassMLA） - Multi-Token Prediction：EAGLE speculative decoding，batch=1 时 1.8x 解码加速，batch=32 时 1.5x - H100 general workload：29% higher throughput vs vLLM - Prefix-heavy TTFT：RadixAttention 提供边际收益
vLLM 优势场景： - 跨硬件平台：唯一覆盖 TPU/Trainium/Inferentia 的引擎 - Blackwell/GB200 优化：26,200 prefill tokens/s on DeepSeek-style MoE - 成熟度：生产案例最多，文档最全 - Model Runner V2：streaming parser 支持 Qwen3/MiniMax-M2/GLM-4.7-5.2
vLLM vs TensorRT-LLM（H100，Spheron 2026）： - 8% faster at 1 request；13% faster at 50 concurrent requests - TensorRT-LLM VRAM 占用略高（74GB vs 71GB idle，compiled engine activation buffers） - SGLang 在高并发下介于两者之间
向量数据库 2026 基准综合（Salt Technologies / Kalvium Labs / Medium）
| DB | p50 延迟 | p95 QPS | 规模 | 特点 |
|---|---|---|---|---|
| Qdrant | 4ms | ~850 QPS | 1M 向量 | Rust，性能最优，自部署 |
| Pinecone | <10ms | - | 5M+ | 托管体验最佳 |
| pgvector | 45-80ms | - | <50M | PostgreSQL 集成，零新服务 |
| Milvus | - | - | Billion+ | K8s-native，最大规模 |
| Weaviate | - | - | - | 原生混合搜索 |
| Chroma | - | - | - | 原型最快 |
工程建议（practitioners 共识）： - <1000万向量已有 Postgres → pgvector + pgvectorscale（TCO 最优） - 亿级 + 分布式 → Milvus - 过滤查询优先 → Qdrant（payload index） - 混合搜索（向量+关键词）→ Weaviate - 原型/本地 → Chroma 或 LanceDB
三、GitHub Trending 高价值项目（2026-08-01 daily）
G1 · huggingface/speech-to-speech ⭐ 9,915 | 日增 1,275 ⭐⭐⭐⭐⭐
URL: https://github.com/huggingface/speech-to-speech
标签: #HuggingFace #Speech #Voice-Agent #Open-Source
可信度: 极高（HuggingFace 官方）
工程价值: ⭐⭐⭐⭐⭐
概述
基于开源模型构建本地语音 agent 的完整方案，支持端到端语音到语音对话，无需 ASR/TTS 管道。
工程价值
- 端到端语音处理，消除 ASR→LLM→TTS 延迟累积
- 开源可自部署，适合隐私敏感场景
- HuggingFace 生态集成，model hub 直接使用
G2 · microsoft/TRELLIS.2 ⭐ 9,750 | 日增 167 ⭐⭐⭐⭐
URL: https://github.com/microsoft/TRELLIS.2
标签: #3D-Generation #Microsoft #Structured-Latents #Computer-Vision
可信度: 高（Microsoft 官方）
工程价值: ⭐⭐⭐⭐
概述
Native and Compact Structured Latents for 3D Generation，支持高质量 3D资 产生成。
G3 · Kangarooking/cangjie-skill ⭐ 5,828 | 日增 320 ⭐⭐⭐⭐
URL: https://github.com/kangarooking/cangjie-skill
标签: #AI-Agent #Skill-Distillation #Book-to-Skill #Claude-Code
可信度: 中（社区项目）
工程价值: ⭐⭐⭐⭐
概述
将书籍、长视频、播客等高价值内容蒸馏成可执行的 Agent Skills（Claude Code skill 格式）。320 stars/day 增长迅猛。
工程价值
- 代表 skill distillation 新范式：长内容 → 可执行 agent skill
- 与 cangjie-skill 互补：知识管理 → 可执行工作流
- 可参考用于构建私有知识库 agent skill pipeline
G4 · trailofbits/skills ⭐ 6,368 | 安全研究必备 ⭐⭐⭐⭐
URL: https://github.com/trailofbits/skills
标签: #Security #Claude-Code #Audit #Vulnerability-Detection
可信度: 极高（Trail of Bits 官方）
工程价值: ⭐⭐⭐⭐
概述
Trail of Bits 的 Claude Code skills：安全研究、漏洞检测、审计工作流。
G5 · fishaudio/fish-speech ⭐ 高 | SOTA 开源 TTS ⭐⭐⭐⭐
URL: https://github.com/fishaudio/fish-speech
标签: #TTS #Open-Source #Fish-Audio
可信度: 高（Fish Audio 社区）
工程价值: ⭐⭐⭐⭐
工程价值
- SOTA 开源 TTS，与 speech-to-speech 形成端到端语音栈
- 支持多语言，延迟低
- 自部署替代 ElevenLabs/Resemble 等商业方案
G6 · 0x4m4/hexstrike-ai ⭐ MCP 安全研究 ⭐⭐⭐
URL: https://github.com/0x4m4/hexstrike-ai
标签: #MCP #Security #Pentesting #AI-Agent
可信度: 中（社区）
工程价值: ⭐⭐⭐
概述
MCP server，让 AI agent 可调用 150+ 网络安全工具（自动化 pentest、漏洞发现、bug bounty）。
四、Hugging Face Trending 模型（2026-08-01）
| 模型 | 类型 | 来源 | 亮点 |
|---|---|---|---|
| moonshotai/Kimi-K3 | LLM | Moonshot AI | 最新 K 系列，推理优化 |
| deepseek-ai/DeepSeek-V4-Flash-0731 | LLM | DeepSeek | V4 Flash 版本，推理优化 |
| microsoft/VibeVoice-ASR-BitNet | ASR | Microsoft | BitNet 量化，CPU 高效 |
| baidu/Unlimited-OCR | CV/OCR | 百度 | 高精度 OCR |
| nota-ai/Solar-Open2-250B-Nota-NVFP4 | LLM | Nota AI | 250B MoE，NF4 量化 |
| upstage/Solar-Open2-250B | LLM | Upstage | 250B dense |
| unsloth/Kimi-K3-GGUF | LLM (GGUF) | Unsloth | Kimi-K3 的量化版，支持 llama.cpp |
| unsloth/DeepSeek-V4-Flash-0731-GGUF | LLM (GGUF) | Unsloth | DeepSeek V4 Flash 量化版 |
观测： Unsloth 的 GGUF 量化版本持续火热，为本地/边缘部署提供低显存方案。
五、Substack 高价值工程内容
S1 · The AI Engineer: vLLM vs Ollama vs SGLang vs TensorRT-LLM（2026）⭐⭐⭐⭐
URL: https://theaiengineer.substack.com/p/vllm-vs-ollama-vs-sglang-vs-tensorrt
作者: The AI Engineer newsletter
时间: 2026（近期）
标签: #Inference-Engine #Comparison #vLLM #Ollama #SGLang #TensorRT-LLM
可信度: 高（工程向 newsletter）
工程价值: ⭐⭐⭐⭐
关键内容
- HuggingFace TGI 已进入维护模式： 官方 README 明确"只接受 minor bug fix 和文档改进 PR"
- 四个引擎哲学对比：
- vLLM：PagedAttention 内存管理，UC Berkeley 出
- SGLang：RadixAttention + DeepSeek 深度优化
- TensorRT-LLM：NVIDIA 官方，kernel fusion 极致优化
- Ollama：本地优先，易用性优先
核心结论
选错引擎 = 3倍 GPU 成本 or 迁移 sprint。给出了决策框架。
S2 · WTF In Tech: The Model Is Free. The Inference Is the Business. ⭐⭐⭐⭐
URL: https://bhavishyapandit9.substack.com/p/the-model-is-free-the-inference-is
作者: Bhavishya Pandit
时间: 2026-06
标签: #LLM-Inference #Economics #vLLM #SGLang #TensorRT-LLM
可信度: 高（独立工程师 newsletter）
工程价值: ⭐⭐⭐⭐
核心洞察
"The AI winners of the next decade may not build the smartest models. They will build the cheapest, fastest, and most reliable way to run them."
三个引擎历史
- vLLM：PagedAttention，24x throughput vs HuggingFace Transformers，3.5x vs TGI
- SGLang：RadixAttention + LMSYS 合作
- TensorRT-LLM：H100 4.6x vs A100（官方数据）
六、分类标签汇总
#LLM-Serving #Inference-Engine #vLLM #SGLang #TensorRT-LLM #GoodServe #AMPD
#PD-Disaggregation #KV-cache #Scheduling #E2E-SLO #Model-Runner-V2
#VectorDB #pgvector #Qdrant #Milvus #Weaviate #Benchmark
#Speech-to-Speech #TTS #HuggingFace #GitHub-Trending
#Multi-Agent #Agentic-Workflow #Model-Cascading
#Optimization #Mathematical-Foundations #Load-Balancing
#Substack #Engineering-Newsletter #arXiv
建议写入路径
草稿路径：
/shared/research-kb/inbox/jay/2026-08-01T1335-jay-arxiv-inference-systems-vecdb-2026.md
后续行动建议
精读（Priority 1）
- [ ] GoodServe arXiv原文：调度算法 + vLLM 对照
- [ ] AMPD arXiv原文：prefill reorder 策略可否迁移到 vLLM
- [ ] vLLM MRv2 官方文档：streaming parser 细节
- [ ] The AI Engineer Substack：TGI 退役影响分析
审稿（Priority 2）
- [ ] vLLM vs SGLang benchmark 数据交叉验证（Particula Tech vs Spheron 数值一致性）
- [ ] AMPD vs NVIDIA Dynamo 2026 对比数据
主题页更新建议
- [ ] LLM Serving/Inference Engine 主题页：补充 SGLang DeepSeek V3 3.1x 数据，补充 TGI 维护状态
- [ ] Vector DB 主题页：补充 pgvectorscale 471 QPS benchmark 数据
- [ ] GitHub Trending 工具页：补充 speech-to-speech 和 cangjie-skill 条目