Jay 五分类简报 · 2026-10-01
主题：推理引擎生态纵深 + 数据中心级分布式推理 + 向量数据库选型 本次聚焦：NVIDIA Dynamo / AI-Dynamo 数据中心级分布式推理栈、向量数据库 2026 场景分层、端侧推理新项目、CNCF K8s AI Serving 进展 注意：不执行 GitHub 写入；草稿待合并
一、Database · 向量数据库 2026 场景分层
🔬 高价值条目 1 · 选型决策树
标题：Best open source vector database solutions: Top 8 in 2026 - 来源：Instaclustr · https://www.instaclustr.com/education/vector-database/best-open-source-vector-database-solutions-top-5-in-2026 - 标签：向量数据库 / 选型 / 开源 / 2026 - 工程价值：⭐⭐⭐⭐⭐
核心分层（按规模 + 场景）：
| 规模 | 首选 | 备选 | 关键理由 |
|---|---|---|---|
| ≤100 万向量 | pgvector / Chroma | — | 零新基础设施，已有 PG 直接用 |
| 100万~1000万 | Qdrant | — | Rust 性能强、Payload 过滤、混合搜索 |
| 1000万~1亿 | Milvus | — | 分布式原生、DiskANN、GPU 索引 |
| 1亿+ | Milvus / Zilliz Cloud | — | TiDB 适合 OLTP+向量混合场景 |
| 混合搜索 BM25+向量 | Weaviate | — | 原生支持两种检索 |
| K8s 原生 | Vald | — | NGT 算法、自动 healing、多租户 |
各引擎关键技术特征： - Qdrant：Rust 实现，payload 过滤强，quantization 好，支持动态切片 - Milvus：HNSW/IVF-PQ/DiskANN 多索引，GPU 加速，多语言客户端 - Weaviate：AI-native，对象+向量同存储，内置向量化，GraphQL/REST - Chroma：开发者友好，适合 RAG 原型，持久化后端 - Vald：K8s-native，NGT ANN，非阻塞索引，自动故障恢复 - OpenSearch：k-NN plugin（HNSW/IVF/PQ），混合搜索，K8s 部署 - pgvector：PG 扩展，OLTP+向量同库，门槛最低
与 2025 年的核心变化： - Qdrant 商业版开始主推"Disk-based quantization"，降低 HNSW 内存占用 - Milvus 2.4+ 强化多模态支持（图像+文本混合检索） - Chroma 强化云端部署路径（之前纯本地）
工程启示： - 选型先问三个问题：规模多大？需要过滤吗？是 K8s 环境吗？ - 2026 年最大隐性成本 = 选型失误导致的迁移代价，建议先用 Chroma/pgvector 验证再决策
🔬 高价值条目 2 · TiDB + 向量搜索
标题：Best Databases for AI Apps 2026 - 来源：PingCAP · https://pingcap.co.jp/best-database-building-ai-apps - 标签：数据库 / TiDB / OLTP+向量 / 混合负载 - 工程价值：⭐⭐⭐⭐
核心结论：TiDB（HTAP）+ 向量搜索适合"SQL 查询 + AI 检索同库"场景： - TiDB Operator K8s 成熟，支持滚动升级、自动 failover - CockroachDB：全球分布式 SQL，适合强一致性需求 - SingleStore：OLAP+向量，高性能检索 - 选型原则：先确认是"AI-first"（专用向量库）还是"DB+AI"（扩展现有关系库）
二、Backend · 数据中心级分布式推理栈
🔬 高价值条目 3 · AI-Dynamo 深度解析
标题：NVIDIA Dynamo: A Datacenter Scale Distributed Inference Serving Framework - 来源：GitHub ai-dynamo/dynamo · https://github.com/ai-dynamo/dynamo - 标签：分布式推理 / disaggregated serving / prefill-decode 分离 / NVIDIA - 工程价值：⭐⭐⭐⭐⭐（数据中心级核心设施）
是什么： Dynamo 是编排层，不是推理引擎本身。它在上层协调 vLLM / SGLang / TensorRT-LLM，将它们组成一个多节点推理系统。定位类似 K8s 之 于容器——它让推理引擎 Scale Out。
核心技术： 1. Prefill/Decode Disaggregation：将 LLM 生成的两个阶段（输入处理 + token 生成）分离到不同 GPU 池，独立扩缩 2. KV-Aware Routing：路由层感知 KV cache 位置，避免重复计算 3. KV Block Manager (KVBM)：支持将 KV cache 卸载到 CPU/SSD/远程存储 4. SLA-Based Planner：根据延迟/吞吐 SLA 自动规划资源分配 5. Automatic Scaling：配合 K8s HPA/VPA 实现弹性
与推理引擎的对比矩阵（来自官方 README）：
| 特性 | SGLang | TensorRT-LLM | vLLM |
|---|---|---|---|
| Disaggregated Serving | ✅ | ✅ | ✅ |
| KV-Aware Routing | ✅ | ✅ | ✅ |
| SLA-Based Planner | ✅ | ✅ | ✅ |
| KVBM (CPU/SSD offload) | 🚧 | ✅ | ✅ |
| Multimodal | ✅ | ✅ | ✅ |
| Tool Calling | ✅ | ✅ | ✅ |
Recipe 生态（预构建部署配置）：
| 模型 | 框架 | 模式 | Recipe |
|---|---|---|---|
| Qwen3-32B-FP8 | TensorRT-LLM | Aggregated | 查看 |
| DeepSeek-R1 | SGLang | Disaggregated | 查看 |
| Kimi-K3 | vLLM | Aggregated | 查看 |
| DeepSeek-V4-Pro-0813 (MXFP4+FP8 KV, 1M context) | vLLM | 1P1D 16-GPU disaggregated | 查看 |
版本现状（release/1.5.0，2026-09）： - vLLM base：v0.28.0（CUDA 13），NIXL v1.3.2 - SGLang base：v0.5.17（CUDA 13） - 多架构镜像（amd64 + arm64） - GKE/EKS/AKS/ECS 云厂商指南完整
Spheron 的成本分析： - Prefill 用 H100 SXM5 + Decode 用 A100 80G 的混合方案，成本低于全 H100 monolith，同时吞吐量持平或更高 - 相比 monolith，disaggregation 可提升最高 7x 吞吐量（Spheron 官方数据）
工程启示： - 单 GPU / 单模型：推理引擎本身足够，不需要 Dynamo - 多节点、流量大、有 SLA 要求：Dynamo 是正确的架构选择 - Dynamo vs SGLang Disaggregation：Dynamo 是框架层，SGLang 是引擎层，两者不互斥
🔬 高价值条目 4 · FlashInfer Kernel 库
标题：FlashInfer: Kernel Library for LLM Serving - 来源：GitHub flashinfer-ai/flashinfer · https://github.com/flashinfer-ai/flashinfer - 标签：CUDA Kernel / LLM Serving / MoE / 注意力优化 - 工程价值：⭐⭐⭐⭐ - Stars：6.5k（2026-09-30 更新）
核心：FlashInfer 是 LLM Serving 专用 CUDA Kernel 库，聚焦于 Attention 系列操作的 GPU 优化： - 覆盖 PageAttention、Speculative Decoding、Moe Fusion 等场景 - 支持 CUDA C++ + Python bindings - 已被 vLLM、SGLang 等主流引擎引用为底层依赖 - 适合需要自研推理框架或深度定制 kernel 的团队
三、Cloud-Native · K8s + AI Serving 生态
🔬 高价值条目 5 · KubeRay + KServe + CNCF WG Serving
标题：Mastering Kubernetes for AI: Top Cloud-Native ML Deployment Trends in 2026 - 来源：Rajinikanth Vadla · https://www.rajinikanthvadla.com/blog/kubernetes-cloud-native-ai-ml-deployment-trends-2026-mocmdoxh - 标签：K8s / KubeRay / KServe / CNCF / LLMOps - 工程价值：⭐⭐⭐⭐
CNCF WG Serving 进展（2026）： - WG Serving（Kubernetes Working Group Serving）发布 AI/ML Inference K8s 部署最佳实践 - CNCF 官方 YouTube 视频（32 分钟）：https://www.classcentral.com/course/youtube-wg-serving-accelerating-ai-ml-inference-workloads-on-kubernetes-e-a-gutierrez-y-tang-424914 - 核心工作流：模型服务器作者 → Kubernetes 原生接口 → 通用 Serving 层
KubeRay 成熟度（2026）： - KubeRay 是 Ray 的 K8s Operator，已成为分布式训练/微调的标准 - 支持将数据预处理 → 分布式训练 → 模型 serving 全流程在 K8s 上编排 - AI Agent 的弹性扩展现在有 K8s 原生路径
Local-First LLM 趋势： - 2026 年主流：量化模型 + 私有化 K8s 部署，确保数据隐私 + 低延迟 - RAG 管道直接嵌入 K8s Admission Controller，确保每个 AI 回答都基于内部数据 - K8s + GPU Operator + vLLM/SGLang Sidecar 成为标准部署模式
AIOps-Driven Self-Healing Clusters： - 监控 AI 模型指标（throughput、TTFT、GPU 利用率）→ 自动恢复 / 自动扩缩 - 2026 年 K8s AI 运营商（Kata MC）开始支持 AI workload 感知的调度
四、CSDN · 今日已收录（上午场）
详见
2026-10-01T0820-jay-csdn-inference-rag-stack-highvalue.md核心条目：vLLM 分布式源码结构、LangGraph Pregel 执行引擎、2026 向量数据库选型、QwQ-32B 单卡 4090 部署、embedding+reranker 多模型部署
五、Reproduction · 可复现工程实践
🔬 高价值条目 6 · ArXiv RAG 项目（Qwen3 + Qdrant）
标题：Building a Modern RAG Agent in 2026: Qwen3 Embeddings and Vector Database in Qdrant - 来源：Gabriel Furnieles · Towards AI · https://pub.towardsai.net/building-a-modern-rag-pipeline-in-2026-qwen3-embeddings-and-vector-database-in-qdrant-ebeca2bbe338 - 标签：RAG / Qwen3-embedding-8b / Qdrant / ETL / Batch API / polars - 工程价值：⭐⭐⭐⭐⭐
项目概述： 构建一个可扩展的 ArXiv CS 论文 RAG Agent，使用 Qwen3-embedding-8b（当前最强 RAG embedding 模型之一）对 56 万篇 ArXiv CS 论文建立向量索引，存入 Qdrant。
技术栈：
- Embedding 模型：Qwen3-embedding-8b（4096 维，Cosine Similarity）
- 向量数据库：Qdrant（Docker 部署，禁用索引后批量导入）
- 数据处理：polars lazy scan（流式处理 5GB+ JSON 元数据）
- Embedding 批量请求：OpenAI Batch API（离线处理，高 rate limit）
- 元数据管理：SQLite（记录批次状态，避免重复请求）
- 整体包结构：pipeline（离线批处理）+ agent（在线查询）
关键工程细节： 1. 分块策略：处理 2,938,427 篇论文元数据，polars lazy scan 流式处理避免 OOM 2. 批量导入 Qdrant：先禁用索引（避免每次插入重建立），导入完成后再建索引——标准大批量导入最佳实践 3. 向量尺寸固定：Qwen3 embedding 固定 4096 维，Qdrant collection 创建时必须指定 4. Cosine Similarity：距离度量选择，适用于语义相似性检索
后续行动： - 该项目 GitHub 源码有参考价值：ETL pipeline 架构设计 - 规模化：56 万向量用 Qdrant 完全没问题（Qdrant 官方支持到千万级） - 评估方向：对比 Qwen3-embedding-8b vs BGE-m3 vs text-embedding-3-large 在 CS 论文检索上的 recall@k
🔬 高价值条目 7 · Kimi K3 单 CPU 推理
标题：kimi-k3-in-c: Kimi K3 running inference on a single CPU in 8.24 GB RAM - 来源：GitHub FareedKhan-dev/kimi-k3-in-c · https://github.com/FareedKhan-dev/kimi-k3-in-c - 标签：CPU 推理 / MoE / C99 / 量化 / 端侧 - 工程价值：⭐⭐⭐⭐ - Stars：8.8k（2026-09 更新）
核心数据： - 2.78 万亿参数 MoE 模型，仅需 8.24 GB RAM - 纯 C99 实现，无 BLAS，无框架依赖，无 GPU - 支持 SIMD（AVX2）、MoE、Linear Attention - MXFP4 量化支持
工程意义： - 展示了 MoE + 极致量化可以在消费级硬件上跑 2.78T 参数模型 - 与 llama.cpp 的 GGUF 量化路径不同（一个从零写 C，一个基于 GGML） - 可作为端侧/嵌入式 AI 推理的参考基准
📋 分类标签总览
| 类别 | 条目数 | 核心主题 |
|---|---|---|
| Database | 2 | 向量数据库 2026 场景分层；TiDB OLTP+向量 |
| Backend | 2 | AI-Dynamo 数据中心分布式推理栈；FlashInfer CUDA Kernel |
| Cloud-Native | 1 | KubeRay + KServe + CNCF WG Serving + Local-First LLM |
| CSDN | — | 详见上午场草稿 |
| Reproduction | 2 | ArXiv RAG (Qwen3+Qdrant)；Kimi K3 单 CPU 推理 |
💡 建议写入路径
/shared/research-kb/inbox/jay/2026-10-01T1105-jay-five-category-briefing.md
🎯 后续行动
- [ ] 精读：AI-Dynamo 官方文档 + Spheron disaggregation 部署指南
- [ ] 精读：ArXiv RAG 项目 GitHub 源码（ETL pipeline 架构参考）
- [ ] 审稿：向量数据库选型决策树（按实际业务规模验证）
- [ ] 关注：FlashInfer 与 vLLM 0.28+ 的集成进展
- [ ] 关注：CNFC WG Serving 后续发布的 K8s AI Serving 标准
本简报由 Jay 实例生成 · 2026-10-01 11:05 UTC