Jay 研究简报 · 2026-07-30 · 下午档（15:08）

本次主题

五大分类技术简报：Database · Backend · Cloud-Native · CSDN · Reproduction

检索范围

arXiv (cs.AI, cs.CL, cs.SE, cs.LG, cs.DC) · Papers with Code · Hugging Face Blog/Releasebot
SIGMOD 2026 · NSDI · MLSys · ACM / IEEE Xplore
GitHub Trending · Substack（AI Engineer, Raschka, Simon Willison） · ByteByteGo RSS
Cool Papers (papers.cool) · DeployBase / Spheron / Salt Technologies

📦 一、Database（向量数据库 & 数据基础设施）

1. pgvector 0.9 vs Qdrant vs Milvus 2026 生产基准对比

类型: 行业基准综合分析（2026-04 ~ 2026-07）标签: 向量数据库 pgvector Qdrant Milvus pgvectorscale 2026 Benchmark 可信度: ★★★★ 高（多源交叉验证） 复现价值: 高（选型决策参考）

摘要： 2026 年向量数据库格局已高度分化，各系统定位清晰：

性能数字（@ 95% recall，p99 延迟）：

Redis               ████        ~10-15ms   （语义缓存场景）
pgvectorscale       ███████     ~28ms      （50M向量 @ 99% recall，QPS 471）
Qdrant              ███████     ~30-40ms   （开源速度领先）
Milvus              ████████    ~40-60ms   （分布式水平扩展）
Pinecone (托管)     ██████████  ~50-100ms
Weaviate            █████████   ~50-70ms
Chroma              ███████████ ~100-200ms

关键洞察： - pgvectorscale（Postgres + vec扩展）性能大幅提升，50M向量场景 QPS 471 超越 Qdrant 的 41 QPS（相同 AWS 硬件）。适合已有 Postgres 技术栈的团队 - Qdrant仍是开源自托管首选：Rust 实现，内存安全，单 Docker 容器部署，HNSW + 混合搜索工程化程度高；2026-04 发布 v1.37 原生 MCP Server，成为首个让 LLM/Agent 直接查询写入的向量 DB - Milvus适合亿级向量 + 强分布式需求，但 etcd + MinIO 运维复杂度高 - actian提醒：基准测试在数据摄取完成后进行，但生产数据永不停歇——重索引速度跟不上摄取速度时 AI 会给出数小时过时答案（Milvus 团队自身承认） - 行业趋势：从"专用向量数据库"转向"vector-as-a-feature"——PostgreSQL + pgvector / Actian VectorAI DB 整合方案更受企业青睐

引用链接: - https://callsphere.ai/blog/vector-database-benchmarks-2026-pgvector-qdrant-weaviate-milvus-lancedb - https://karthikeyanrathinam.medium.com/top-10-vector-databases-in-2026-ultimate-comparison-benchmarks-use-cases-6b0e878256b5 - https://www.actian.com/blog/databases/how-to-evaluate-vector-databases-in-2026

建议: 纳入向量数据库选型主题页；注意区分"基准数字"与"生产持续写入"场景差异

2. Qdrant 原生 MCP Server — 2026-04

类型: 产品功能更新标签: Qdrant MCP RAG Agent 2026 可信度: ★★★★ 高（官方发布） 复现价值: 中

摘要： Qdrant v1.37（2026-04）发布原生 MCP Server，成为首个让 LLM/Agent 无需自定义集成代码即可直接查询和写入的向量数据库。Agent 可通过标准 MCP 协议直接执行向量搜索、过滤、元数据操作。Weaviate 同期跟进 MCP 支持，但 Qdrant 的实现更成熟。

引用链接: https://github.com/qdrant/qdrant/releases 建议: 纳入 MCP 生态主题页，向量数据库选型时优先考虑 MCP 原生支持

⚙️ 二、Backend（推理引擎 & LLM 系统）

3. OmniServe：SIGMOD 2026 — 异构 CPU-GPU 混合 LLM 推理 + SLO 保证

类型: 学术论文（SIGMOD 2026, June 2026）标签: LLM推理 SIGMOD2026 CPU-GPU异构 SLO Prefill-Decode Attention Piggybacking 可信度: ★★★★★ 顶级会议 复现价值: 高

摘要：论文解决核心问题：数据中心同时服务 Latency-Sensitive (LS) 和 Best-Effort (BE) 两种 LLM 负载，如何在 CPU-GPU 异构环境下保证 SLO。

创新点： - Attention Piggybacking：将 CPU Attention 计算与 GPU 推理解耦，CPU 不再是旁观者而是并行参与者 - 异步流水线设计：CPU 和 GPU 同时处理 BE 服务，通过等待队列协调 - BE 服务利用 CPU 执行 attention，LS 服务独占 GPU，SLO 保障延迟敏感型请求

技术细节： - 在 LS 服务保证 SLO 延迟目标下，同时优化 BE 服务吞吐量 - 动态 batching 控制策略，根据 SLO deadline 优先级调度

引用链接: https://arxiv.org/pdf/2603.12831 | SIGMOD 2026 建议: 精读；纳入 Kubernetes 推理 + CPU-GPU 异构部署主题页；与 llm-d disaggregation 形成互补

4. Blink：CPU-Free LLM Inference — 将 Serving Stack 完全委托给 GPU + SmartNIC

类型: 学术论文（arXiv:2604.07601）标签: LLM推理 CPU-Free SmartNIC DPU RDMA 2026 可信度: ★★★★ 高（系统架构创新） 复现价值: 高

摘要： 核心贡献：识别现代 LLM serving 系统依赖 host-CPU 驱动的细粒度控制为关键瓶颈，提出 Blink——将 host CPU 从稳态推理关键路径中移除：

四大创新： 1. SmartNIC 驻留 ingress：网卡处理请求接入，无需 CPU 参与 2. 零拷贝 RDMA 直接写入 GPU 内存：绕过 CPU DRAM 3. GPU 驻留持久化调度器：continuous batching、KV-cache 管理、token 生成全在 GPU 侧 4. 消除 CPU 干扰：稳态推理全程无需 host CPU

核心洞察： "控制路径依赖"（control-path dependence）是 CPU 成为瓶颈的根本原因——每个 token 生成步骤都需要 host CPU 驱动调度，限制了高效资源共享。

引用链接: https://arxiv.org/html/2604.07609v1 建议: 精读；纳入高端推理集群架构主题页；适合超低延迟场景参考

5. KVServe + SpectrumKV — SIGCOMM 2026: disaggregated LLM serving 通信优化

类型: 学术论文（SIGCOMM 2026）标签: LLM推理 SIGCOMM2026 KV cache disaggregated Prefill-Decode 通信优化 可信度: ★★★★★ 顶级会议 复现价值: 高

摘要： SIGCOMM 2026 两篇 KV cache 相关工作： - KVServe：通信感知的 KV cache 压缩，实现 disaggregated LLM serving 高效传输 - SpectrumKV：per-token 混合精度 KV cache 传输，专门优化 prefill-decode 分离架构的传输开销

两篇均针对 disaggregated 架构（PD 分离）中的 KV cache 网络传输瓶颈，是 llm-d、Mooncake 等系统面临的共性问题。

引用链接: - KVServe: https://arxiv.org/abs/2606.29708 - SpectrumKV: https://arxiv.org/abs/2606.08635

建议: 纳入 disaggregated inference 主题页；与 llm-d CNCF 内容关联

6. Flow-Controlled Scheduling for LLM Inference — 可证明稳定性保证

类型: 学术论文（arXiv:2604.11001）标签: LLM推理 调度算法 KV cache 稳定性保证 2026 可信度: ★★★★ 高（理论 + 系统） 复现价值: 中（理论价值高）

摘要：核心贡献： - 建立了任何稳定系统必须满足的必要条件：当期望工作负载超过 KV cache 容量时，任何调度算法都无法防止延迟无限增长 - 提出 Flow-Controlled 调度算法，平滑激活新请求，在特定负载条件下可证稳定 - 刻画了系统不稳定的充分条件（即延迟无界增长）

工程意义：为生产系统提供了调度策略的理论下界，不能靠经验参数规避根本性的资源约束问题。

引用链接: https://arxiv.org/html/2604.11001v1 建议: 纳入推理调度算法主题页；与 vLLM Sarus/SPECIAL sessions 关联

7. FlashInfer 架构深度解析 — NVIDIA MLSys 2025 Best Paper

类型: 工程深度分析（NVIDIA 官方博客 + Spheron）标签: FlashInfer CUDA vLLM SGLang NVIDIA MLSys2025 注意力kernel 2026 可信度: ★★★★★ 官方 + 最佳论文 复现价值: 高

摘要： FlashInfer 是 2026 年推理引擎 kernel 层的核心基础设施：

NVIDIA 官方定位： - vLLM Blackwell (B200/B300)：FlashInfer 为默认 attention backend - vLLM Hopper (H100/H200)：FlashAttention 默认；VLLM_ATTENTION_BACKEND=FLASHINFER 可选开启 - SGLang Hopper + Blackwell：FlashInfer 均为默认，且有 DeepSeek MLA 专用 kernel 路径

FlashInfer 四大 Operator 家族： 1. Attention：batch decode（32K shared prefix @ batch 256 → 31× speedup over PagedAttention） 2. GEMM：矩阵乘法 kernel 3. Communication：分布式推理集合通信 4. Sampling：token 采样和采样参数生成

FlashInfer + CUDAGraph 调度： - 问题：CUDAGraph 需要静态配置，但 LLM 请求序列长度动态变化 - 解决：两阶段 pattern——plan() 阶段检查请求形状并计算均衡调度元数据，run() 阶段执行

引用链接: - https://developer.nvidia.com/blog/run-high-performance-llm-inference-kernels-from-nvidia-using-flashinfer - https://www.spheron.network/blog/deploy-flashinfer-gpu-cloud-llm-inference-kernels

建议: 纳入 CUDA Kernel / Attention 主题页；与 vLLM/SGLang kernel 选择章节关联

8. SGLang vs vLLM 2026 — 场景化选型决策树

类型: 工程对比分析（多源，2026-07）标签: SGLang vLLM Benchmark 2026 选型 可信度: ★★★★ 高（多个独立来源） 复现价值: 高

摘要： 2026 年推理引擎格局已明朗：

维度	vLLM	SGLang
默认场景	通用生产首选	前缀密集 / Agentic / DeepSeek
KV cache 机制	PagedAttention（块级虚拟内存）	RadixAttention（共享前缀树）
DeepSeek 性能	baseline	3.1× faster（MLA kernel 优化）
多 GPU 扩展	成熟	追赶中（0.5.x）
Blackwell 支持	FlashInfer 默认	FlashInfer 默认 + MLA 专用
TGI 迁移	首选承接地	备选

关键结论（Particula Tech，实测）： - SGLang 在 H100 上吞吐量比 vLLM 高 29%（标准工作负载） - 但差距在 unique-prompt batch 上趋近于零，在前缀密集型 RAG pipeline 上扩大到 6× - 正确选择取决于工作负载形状，而非泛化比较

引用链接: - https://particula.tech/blog/sglang-vs-vllm-inference-engine-comparison - https://superlinked.com/blog/vllm-vs-sglang-vs-sie-search-pipelines - https://aimultiple.com/inference-engines

建议: 纳入推理引擎选型主题页；强调"工作负载 shape 决定引擎"而非绝对性能比较

☸️ 三、Cloud-Native（Kubernetes & 推理基础设施）

9. llm-d CNCF Sandbox — 2026 年度更新（2026-07 情报）

类型: 官方项目更新标签: llm-d CNCF Kubernetes disaggregated Prefill-Decode 2026 可信度: ★★★★★ 官方 复现价值: 高

摘要： llm-d 项目持续活跃（2026-03 入 CNCF Sandbox），2026-07 有新进展： - Red Hat / Google Cloud / IBM Research / CoreWeave / NVIDIA 联合推进 - v0.7（2026-05）关键特性：可复现 benchmark workflow、层级 KV offloading、cache-aware LoRA 路由、active-active HA、scale-to-zero - llm-d 博客持续更新 KV cache offloading 技术细节，支持任意文件系统（本地 SSD / S3 / Redis）

与 OmniServe（SIGMOD 2026）的关联： - llm-d 解决 跨 vLLM 实例的 KV cache 共享（分布式场景） - OmniServe 解决 单节点 CPU-GPU 异构的混合负载调度 - 两者互补，构成完整的 disaggregated inference 解决方案

引用链接: - https://llm-d.ai/blog/tags/kv-cache - https://github.com/llm-d/llm-d

建议: 纳入 Kubernetes 推理部署主题页；与 SIGMOD OmniServe 内容交叉引用

10. NVIDIA Dynamo — 分布式推理框架 KV Cache 新进展

类型: 官方框架标签: NVIDIA Dynamo KV cache disaggregated RDMA NVMe-oF 2026 可信度: ★★★★★ 官方 复现价值: 高

摘要： Dynamo 是 NVIDIA 分布式推理框架，2026 年持续更新： - ** disaggregated prefill/decode：PD 分离架构，KV cache 通过 RDMA / NVMe-oF / S3 跨 GPU 传输 - NIXL library**：标准化跨加速器栈的集合通信 - KV cache 跨实例共享 + 层级 offloading

与 llm-d 的关系：两者功能高度重叠但定位不同——Dynamo 偏 NVIDIA 自有硬件生态优化，llm-d 偏跨硬件平台抽象。

引用链接: https://www.backend.ai/blog/2026-04-how-to-save-gpu-memory-in-llm-serving-kv-cache-offloading 建议: 纳入分布式推理主题页

📝 四、CSDN（中文高价值技术文）

备注：今日 08:22 已产出 2026-07-30-csdn-inference-rag-moe-highvalue.md，12:20 产出 2026-07-30-llm-inference-optimization-stack-csdn-deploybase.md。本次下午档（15:08）未发现超出上述覆盖范围的新增 CSDN 高价值条目。

直接参考文件： - /shared/research-kb/inbox/jay/2026-07-30-csdn-inference-rag-moe-highvalue.md（08:22） - /shared/research-kb/inbox/jay/2026-07-30-llm-inference-optimization-stack-csdn-deploybase.md（12:20）

🔬 五、Reproduction（可复现研究 & 工程验证）

11. Cool Papers (papers.cool cs.CL) — 2026-07-30 最新

类型: 学术前沿速递标签: arXiv cs.CL Agent RAG Memory 句法 知识不一致 可信度: ★★★★ 高（arXiv preprints） 复现价值: 中高

摘要（arXiv cs.CL, 2026-07-30 当日）：

UniMem: Complementary Memory Mechanism（arXiv:2607.26017） 核心问题：无边界任务流中，现有方法无法兼顾近期上下文快速调用 + 长期知识稳定保持。UniMem 提出从情景记忆到参数记忆的互补机制。Agent 记忆系统方向值得关注。
On-Policy Distillation（OPD，arXiv:2607.26057） On-Policy 蒸馏将 token 级监督锚定在学生模型自身轨迹上，但仍存在前缀失败问题：一旦早期推理方向误判，后续生成难以挽回。LLM 训练/蒸馏方向。
指令微调模型句法复用（arXiv:2607.26015） 发现 SFT 模型在局部对话中对人类句法的复用程度甚至超过人类自身——有趣的语言学现象，对评估 LLM 对话自然度有参考价值。
跨文本/表格/知识图谱知识不一致检测（arXiv:2607.25959） Wikipedia 和 Wikidata 知识深度关联但分散。RAG 场景下检索来源不一致是幻觉来源之一，此工作提供系统性检测框架。
Polistemics（arXiv:2607.25953） 评估 LLM 作为政治/选举信息中介的可靠性——LLM 安全性和信息可信度研究方向。

引用链接: https://papers.cool/arxiv/cs.CL 建议: UniMem 进入 Agent Memory 主题页精读列表

12. Microsoft Research — 2026-07 新发布

类型: 官方研究标签: Microsoft Research Agent Memory Rust 密码学 可视化 2026 可信度: ★★★★★ 官方 复现价值: 中

摘要（MSR Blog, 2026-07）：

SkillOpt: Agent Skills as Trainable Parameters - 核心问题：AI Agent 失败常因人工修改的 Skill（指令）无法保证改进效果 - 解决思路：将 Skill 编辑转变为训练过程，而非手工调试 - 意义：Agent 自动化调优方向的重要进展
Memora: Harmonic Memory Representation - 核心问题：AI Agent 无法记住过往对话，必须不断重新加载/检索上下文 - 提出兼顾抽象性与具体性的谐波记忆表示，平衡记忆压缩与信息保留 - 意义：Agent Memory 领域，与 UniMem（arXiv）形成呼应
Flint: Visualization Language for AI Era - AI Agent 创建可视化的中间路径 DSL，避免 AI 生成的图表质量差 - 开源项目
Verifying Rust Cryptography in SymCrypt - 密码学代码验证方法，在开发者编写时实时验证

引用链接: https://www.microsoft.com/en-us/research/blog/ 建议: SkillOpt + Memora 进入 Agent Memory / Auto-optimization 主题页

13. llm-d 官方博客 — Serving Hybrid Models at Scale（2026 新更新）

类型: 工程博客标签: llm-d CNCF KV cache sharing distributed inference vLLM 可信度: ★★★★★ 官方 复现价值: 高

摘要： llm-d 官方博客（2026 新更新）详细阐述跨 vLLM 实例 KV cache 共享的工程挑战： - 问题：每个 vLLM 实例的 KV cache 是本地的，跨节点无法共享；本地 cache 容量有限 - 解决：KV cache offload 到存储层（任意文件系统），同时实现跨实例共享 - 关键设计：KVConnector 接口 + 任意文件系统后端（S3 / Redis / 本地 SSD） - 与 vLLM + LMCache 的关系：llm-d 在更高层抽象做全局 cache 协调，LMCache 做单实例 offloading

引用链接: https://llm-d.ai/blog/tags/kv-cache 建议: 纳入 llm-d / distributed inference 主题页；与 vLLM offloading 内容关联

分类标签汇总

向量数据库 Benchmark pgvector Qdrant SIGMOD2026 LLM推理 CPU-GPU异构 SmartNIC RDMA disaggregated Prefill-Decode FlashInfer CUDA vLLM SGLang KV cache 调度算法 CNCF llm-d Agent Memory RAG评估 Agentic RAG Microsoft Research SkillOpt Memora

建议写入路径

/shared/research-kb/inbox/jay/2026-07-30-1508-jay-five-category-briefing.md ✅（本次文件）

后续行动建议

精读优先级：OmniServe（SIGMOD 2026）> Blink > KVServe/SpectrumKV > SkillOpt/Memora
主题页更新：推理引擎选型（新增 SGLang 29% 场景差异）、Agent Memory（UniMem + Memora 两条路线对比）
选型辅助：向量数据库基准数字表进入知识库，含"生产持续写入"警示标注
Substack 追踪：theaiengineer（Paolo Perrone）关于推理成本分析文章可作 AI 工程成本分析页补充