Jay 晨间简报 · 2026-10-14
主题
AI 工程·推理引擎·向量库·云原生部署·上下文工程
候选条目
1. 推理引擎选型：2026 生产格局已稳定
来源： - CallMissed: "vLLM vs TGI vs SGLang: 2026 Inference Engine Comparison" - PremAI: "vLLM vs SGLang vs LMDeploy: Fastest LLM Inference Engine in 2026?" - Deploybase: "Best LLM Inference Engines 2026" - Spheron: "vLLM vs SGLang 2026: RadixAttention vs PagedAttention Benchmarks"
核心内容摘要：
| 引擎 | 适用场景 | 关键特性 |
|---|---|---|
| vLLM | 通用首选/首个生产部署 | PagedAttention，模型兼容性最广，文档最完善 |
| SGLang | 多轮对话/共享前缀/RAG管道 | RadixAttention，前缀缓存优势明显（>60%共享前缀时领先2-4%） |
| LMDeploy | 量化模型+受限硬件 | TurboMind优化，量化场景最快 |
| TensorRT-LLM | 极致延迟/吞吐量优先 | 固定batch编译，B200/H200原生支持 |
| TGI | 存量部署（迁移中） | 已进入维护模式，官方建议新项目迁移vLLM/SGLang |
量化对比（8xA100并发50，Deploybase数据）： - vLLM: 3,688 tok/s，$0.26/M输出token - SGLang: 3,617 tok/s，$0.27/M输出token（prefix缓存场景反超） - TensorRT-LLM: 3,219 tok/s，$0.30/M（延迟最低0.54s TTFT）
工程结论：新项目默认vLLM；多轮agent/RAG有共享前缀的选SGLang；量化受限硬件选LMDeploy；TGI已有项目逐步迁移。
可信度：高（三方基准交叉印证，2026年3月-6月数据）
2. 上下文工程：2026 最大成本杠杆
来源： - DigitalApplied: "KV Cache Optimization for LLMs 2026: Engineering Guide" - Spheron: "Context Engineering for Production AI Agents: KV Cache, Prefix Caching, and Long-Context GPU Economics (2026 Guide)" - NetworkBachelor: "vLLM in 2026: Infrastructure Engineer's Guide"
核心内容摘要：
KV优化技术族（5类，可叠加4-40×成本压缩）：
- PagedAttention（所有引擎默认开启）：块大小16-32 tokens，内存碎片从60-80%降至<4%
- Prefix Caching（vLLM + SGLang RadixAttention）：共享前缀（system prompt、tool definition、对话历史）命中时直接复用物理块
- GQA/MQA：减少KV头数，Llama-3+广泛采用
- DeepSeek MLA：低秩近似压缩，DeepSeek系列专用
- KV量化：FP8（1字节/元素，质量损失0.3-0.7 NIAH-2基准，可忽略）；INT8（50%压缩，有条件使用）
2026生产默认设置：FP8 on H100/B200；AWQ量化（无原厂支持时）；GQA已是70B+模型标配
Agentic场景特殊注意：50K-500K输入token vs 数百输出token，上下文工程决定成本。工具定义/系统提示/对话历史是最优先缓存对象。
可信度：高（Engineering Guide深度技术细节，与vLLM/NetworkBachelor博客交叉验证）
3. 向量库选型：2026 生产对比
来源： - VDF.ai: "Best Vector Database for RAG (2026): 10 Self-Hosted Picks"（2026年10月6日） - DigitalApplied: "Vector Databases for AI Agents 2026" - GroovyWeb/AlphaCorp: "Top 10 AI Vector Databases 2026"
核心内容摘要：
| 数据库 | 最佳场景 | 部署 | 关键指标 |
|---|---|---|---|
| pgvector | <10M向量，Postgres团队 | 自托管 | 同库备份，迁移成本最低 |
| Qdrant | 自托管/性能优先 | 自托管+云 | ~2.1ms p50，~1200 QPS（1M向量） |
| Weaviate | 混合搜索（vector+BM25） | 自托管+云 | 原生hybrid search，RAGpipeline简洁 |
| Milvus/Zilliz | 10亿+向量规模 | 自托管+云 | 分布式，水平扩展成熟 |
| Pinecone | 零运维托管 | 全托管 | ~4.2ms p50，~800 QPS，贵 |
| OpenSearch/ES | 已有搜索集群 | 自托管 | 混合搜索，存量迁移 |
| LanceDB | 轻量/嵌入式 | 自托管 | 单节点性能好，多模态 |
工程决策树： - Postgres已有 → pgvector（无脑选） - 追求性能+自托管 → Qdrant - 混合搜索必须 → Weaviate - 超大规模 → Milvus/Zilliz Cloud
可信度：高（10月最新对比，有版本标注）
4. Agentic RAG：2026 生产默认范式
来源： - RapidClaw: "Agentic RAG 2026 [5 Patterns + Vector DB Benchmark]" - Lyzr: "What is Agentic RAG? Everything You Need to Know in 2026" - Atlan: "Agentic AI Memory vs Vector Database: Architecture Guide 2026"
核心内容摘要：
5种Canonical Patterns： 1. 迭代检索（Iterative Retrieval）：Agent决定何时重新查询，适合复杂多步推理 2. 查询分解（Query Decomposition）：大问题拆子问题，并行检索合并 3. 假设驱动（Hypothetical Document Embedding, HyDE）：先生成假设答案再检索 4. 跨语料三角定位（Cross-corpus triangulation）：多数据源交叉验证 5. 证据加权（Evidence-weighted）：对检索结果做置信度排序
CRAG（Corrective RAG）：检索结果质量低时自动fallback到web搜索，2026生产广泛采用
常见失败模式： - 无Hop预算 → 死循环（必须hard cap tool calls/token budget） - 向量库膨胀 → 检索质量下降（需要定期reindex + 评分衰减）
可信度：中（行业博客，工程经验为主，需结合具体业务验证）
5. Kubernetes AI推理：2026 CNCF新动态
来源： - CloudNativeNow（2026-10-12）: "CNCF Expands Efforts to Run AI Inference Workloads on Kubernetes Clusters" - VMware Blog（2026-10-12）: "AI, Kubernetes, and Cloud Native Innovations: KubeCon NA 2026" - TFiR（2026）: "Kubernetes in 2026: AI Factories, Inferencing at Scale & Multi-Tenancy" - MLflow: "The Role of Kubernetes in AI Serving: 2026 Guide"
核心内容摘要：
- CNCF 2026调查：66%组织使用Kubernetes运行GenAI推理（同比提升）
- Kubernetes 1.34/1.35：引入AI负载专用特性，包括workload-aware scheduling（batch workloads共调度）
- DRA（Dynamic Resource Allocation）+ Kueue：解决多GPU gang scheduling痛点
- KServe + llm-d：生命周期管理与运行时调度解耦
- KubeCon NA 2026：2026年11月9-12日，Salt Lake City；Cloud Native AI + Inference Day（11月9日）专题keynote
工程意义：Kubernetes已从"实验性运行AI"进化为"生产AI负载标准平台"，GPU-aware scheduling + topology awareness成熟度2026年显著提升。
可信度：高（CNCF官方数据，Oct 2026近期报道）
6. Substack：高价值职业/工程路线
来源： - Pragmatic Engineer（Open Substack）: "What is inference engineering? Deepdive" — Gergely Orosz - AI Engineering Insider: "LLM Inference Engineering Roadmap 2026" — 完整知识图谱 - TheAiEngineer: "The AI Agents Stack: LLM to Production (2026)" — 6层stack年度更新 - TechFusionist: "How Engineers Can Break Into AI Infrastructure in 2026" — 职业路线图
值得关注的工程洞察： - 推理工程（Inference Engineering）作为独立工种在2026年分化，open model兴起是关键驱动 - AI Agents Stack 6层：Models & Inference → Data & Retrieval → Memory → Agent Framework → Orchestration → Deployment；Deployment层最不成熟但工程量最大（"most unplanned engineering time"） - Guardrails在Agent时代成为独立学科：工具调用授权+rate limit+操作验证
可信度：中高（知名Substack工程作者，经验性内容需结合官方文档核验）
高价值条目优先级排序
| 优先级 | 条目 | 理由 |
|---|---|---|
| ⭐⭐⭐ | 推理引擎选型框架 | 生产落地直接指导，三方基准印证 |
| ⭐⭐⭐ | KV优化工程实践 | 最大单次成本杠杆，有量化数据支撑 |
| ⭐⭐ | Kubernetes AI 2026新动态 | CNCF最新调查，KubeCon NA预告 |
| ⭐⭐ | 向量库10月对比 | 选型决策直接引用，版本标注新鲜 |
| ⭐⭐ | Agentic RAG模式 | 生产工程洞察，pattern清晰 |
| ⭐ | Substack工程路线 | 职业参考价值，框架性内容 |
分类标签
inference-engineering kv-cache context-engineering vector-database kubernetes agentic-rag vllm sglang cncf production-ai
建议写入路径
/shared/research-kb/inbox/jay/2026-10-14-0935-jay-morning-briefing-oct14.md
后续行动建议
-
精读： - vLLM vs SGLang benchmark原文（Spheron）→ 提取具体配置参数 - DigitalApplied KV Optimization Guide → 提取FP8/INT8实测质量损失数据 - CNCF 2026 Survey全文 → 提取AI推理K8s渗透率细节
-
审稿： - 推理引擎对比表格 → 需补充 llama.cpp 定位（本地/量化特殊场景） - Agentic RAG pattern列表 → 需结合具体业务场景补充选型建议
-
主题页更新建议： -
inference-engineering主题页：补充TGI停更信息，更新2026引擎选型决策树 -kubernetes-ai主题页：更新KubeCon NA 2026动态，DRA/Kueue进展
本简报由 Jay 实例生成 · 2026-10-14 09:35 CST 规则：AI工程·后端·数据库·部署 · 不复制全文 · 仅摘要+引用+建议