知识库草稿 · Jay · 2026-07-01 下午工程筛选
主题
第三次检索 · 推理引擎工程筛选 + KV Cache 系统论文 + 向量数据库 2026-05 动态 + pgvector CVE + LMCache / SwiftCache 跨引擎架构
一、工程过滤（Engineering Filter）· 本次结果摘要
✅ 保留条目
| 条目 | 来源 | 工程价值 | 保留理由 |
|---|---|---|---|
| LMCache（arXiv 2510.09665） | arXiv | ⭐⭐⭐⭐⭐ | 首个跨引擎跨查询 KV Cache 共享，开源生产就绪 |
| SwiftCache（arXiv 2606.16135） | arXiv | ⭐⭐⭐⭐⭐ | P99 TTFT -69%，3.98x 上下文扩展，异构多模型场景直接受益 |
| pgvector 0.8.2 CVE-2026-3172 | RankSquire May 2026 | ⭐⭐⭐⭐⭐ | 🔴 立即行动，跨关系数据泄露，生产安全必处理 |
| pgvectorscale 471 QPS @ 99 recall（50M vectors） | Tiger Data benchmark | ⭐⭐⭐⭐⭐ | 彻底改变 pgvector 适用规模认知，10M+ 场景首选 |
| Qdrant v1.18 TurboQuant | RankSquire May 2026 | ⭐⭐⭐⭐ | 量化引擎更新，生产选型参考 |
| Kareto（arXiv 2603.08739） | arXiv | ⭐⭐⭐⭐ | KV Cache 三层存储自适应优化，HBM/DRAM/Disk 多目标 Pareto |
| KVServe arXiv（2605.13734） | arXiv | ⭐⭐⭐⭐ | 服务感知 KV Cache 压缩，2026 推理工程核心方向 |
| VeriCache（arXiv 2605.17613） | arXiv | ⭐⭐⭐⭐ | 有损 KV Cache 无损推理，ICLR 2026 相关研究 |
| Tutti SSD-backed KV Cache | arXiv | ⭐⭐⭐⭐ | SSD offloading 实用方案，与 Kareto 形成 HBM→DRAM→SSD 完整路径 |
| Online Scheduling KV Cache（2502.07115） | arXiv | ⭐⭐⭐⭐ | 理论调度算法，为 vLLM/SGLang 提供数学框架 |
| Red Hat llm-d v0.7 KServe | llm-d.ai | ⭐⭐⭐⭐ | 企业级 KServe 集成，异构 GPU 支持 |
| RAG Inference Cost Attack（WWW 2026） | arXiv 2606.02643 | ⭐⭐⭐⭐⭐ | ACM WWW 2026，RAG 安全新方向 |
| ResearchClawBench（AI Evaluation Jun Digest） | Substack | ⭐⭐⭐⭐ | Agent 科学研究能力评估，40 任务 10 领域 |
| O'Reilly AI Agents Stack 2026 | O'Reilly | ⭐⭐⭐⭐⭐ | Addy Osmani，三层内存架构，权威综述 |
| Agentic RAG Survey（arXiv 2501.09136v4） | arXiv | ⭐⭐⭐⭐ | 完整结构参考 |
❌ 过滤条目
| 条目 | 过滤理由 |
|---|---|
| CSDN vLLM/SGLang 对比汇总（视频） | 无实测数据，质量低于 DeployBase/Spheron/Yotta Labs 专项测试 |
| 2026 本地推理框架五强 YouTube 视频 | 视频内容，已被上方文字 benchmark 覆盖 |
| DesignGurus Substack LLM Inference 四杠杆 | 付费内容，免费摘要已见于前期简报 |
| Generic "RAG 2026" Medium 付费文章 | Member-only，无新数据 |
二、本次新增高价值 arXiv 论文清单
KV Cache 系统方向（本次重点）
-
LMCache · 2510.09665v2 · ⭐⭐⭐⭐⭐ - 跨引擎（vLLM ↔ SGLang）跨查询 KV Cache 共享 - 开源：
https://github.com/LMCache/LMCache -
SwiftCache · 2606.16135 · ⭐⭐⭐⭐⭐ - 异构 GPU 内存共享 + 层级激活 - P99 TTFT -69%，上下文 3.98x
-
KVServe · 2605.13734v1 · ⭐⭐⭐⭐ - 服务感知 KV Cache 压缩
-
VeriCache · 2605.17613v1 · ⭐⭐⭐⭐ - 有损 KV Cache 无损推理
-
Kareto · 2603.08739v1 · ⭐⭐⭐⭐ - 多目标分层存储优化（HBM/DRAM/Disk Pareto）
-
Tutti · 2605.03375 · ⭐⭐⭐⭐ - SSD-backed KV Cache 实用方案
-
Online Scheduling · 2502.07115v5 · ⭐⭐⭐⭐ - KV Cache 约束下的理论调度算法
RAG / Agent 评估
- RAG Inference Cost Attack · 2606.02643 · ACM WWW 2026 · ⭐⭐⭐⭐⭐ - RAG 系统推理成本攻击，cs.CR 安全方向
三、向量数据库选型决策树（2026-06 更新版）
<2M vectors + 已有 Postgres?
→ pgvector（HNSW m=16, ef_construction=64）✅ 已打 CVE 补丁
→ 注意：立即升级到 0.8.2 修复 CVE-2026-3172
2M-10M vectors + Postgres 团队?
→ pgvectorscale + DiskANN + Statistical Binary Quantization
→ 471 QPS @ 99% recall（50M 测试数据外推）
→ 比 Qdrant 快 11.4x，比 Pinecone p95 低 28x
5M-10M vectors + 零运维要求?
→ Pinecone Serverless
10M-50M vectors + 自托管 + 过滤查询为主?
→ Qdrant v1.18 + TurboQuant + payload filtering
→ HNSW + payload index 联合遍历，p50 ~4ms
Billion-scale + 混合搜索（向量+BM25）?
→ Milvus v3.0.0-beta（zero-copy 数据湖查询）
已有 Kubernetes + 平台工程团队?
→ Milvus 或 llm-d + KServe 集成
四、本次发现的关键数据点
| 数据 | 来源 | 意义 |
|---|---|---|
| P99 TTFT -69%，上下文 3.98x | SwiftCache arXiv 2606.16135 | 多模型共享 GPU 场景的突破性数据 |
| 471 QPS @ 99% recall，50M vectors | pgvectorscale benchmark | pgvector 规模上限大幅提升 |
| p95 延迟比 Pinecone 低 28x | pgvectorscale benchmark | pgvector vs Pinecone 选型关键数据 |
| MCPTox: 84.2% 工具污染率 | The AI Engineer Substack | MCP 恶意服务器 auto-approval 危险数据 |
| 82% MCP servers 路径遍历漏洞 | Endor Labs 分析 | MCP 安全现状量化 |
| ResearchClawBench: 40 任务 10 领域 | AI Evaluation Jun Digest | Agent 科学研究能力评估新基准 |
| RAG 推理成本攻击 | arXiv 2606.02643 WWW 2026 | RAG 安全新方向 |
五、分类标签
#Inference-Engineering #KV-Cache #LMCache #SwiftCache #KVServe #VeriCache #Kareto #Tutti #vLLM #SGLang #llm-d #KServe #Vector-DB #pgvector #pgvectorscale #Qdrant #Milvus #CVE-2026-3172 #Security #RAG-Attack #WWW-2026 #arxiv #Cloud-Native
六、建议写入路径
- 本次写入：
/shared/research-kb/inbox/jay/2026-07-01-1520-engineering-filter-inference-kvcache-vecdb-jul2026.md
七、后续行动
| 优先级 | 行动 | 理由 |
|---|---|---|
| 🔴 立即 | pgvector 0.8.2 CVE-2026-3172 补丁 | 生产安全 |
| 🔴 精读 | LMCache arXiv + GitHub | 跨引擎 KV Cache 共享，推理基础设施重大突破 |
| 🔴 精读 | SwiftCache P99 TTFT 数据核实 | 异构多模型场景核心数据 |
| 🔴 精读 | RAG Inference Cost Attack WWW 2026 | RAG 安全必读 |
| 🟡 精读 | O'Reilly AI Agents Stack 2026 三层内存 | Addy Osmani，AI Agent 架构必读 |
| 🟡 核实 | pgvectorscale 471 QPS benchmark | 选型重大更新 |
| 🟡 追踪 | Qdrant v1.18 TurboQuant + Milvus v3.0.0-beta | 生产选型 |
Jay · 2026-07-01 15:20 CST · /shared/research-kb/inbox/jay/2026-07-01-1520-engineering-filter-inference-kvcache-vecdb-jul2026.md