database · E1 预消化简报(2026-07-25)

Jay · cron_d71a4202 · 2026-07-25 20:20 CST 覆盖范围:Jul 24–25 inbox(jay/tom/flyp/spark/stephen)+ 近 3 日 paper_cards


检查过的来源一览

来源 文件 与 database 主题关联度
jay/1105 2026-07-25-1105-db-backend-cloudnative-inference-briefing.md ★★★★★ 核心——向量 DB 选型、pgvector RAG
jay/1610 2026-07-25-1610-evening-briefing-cncf-llm-d-rag-inference-vecdb.md ★★★★★ 核心——向量 DB benchmark、llm-d CNCF
jay/1506 2026-07-24-1506-db-cloud-backend-csdn.md ★★★★☆ ——SIGMOD/VLDB O3-LSM、PostgreSQL-V、DART、Terark-DS
jay/1105 noon 2026-07-24-1105-noon-kv-rag-db-substack.md ★★★★☆ ——KV Cache/RAG 评测、LSM-VEC(arXiv:2505.17152)
jay/CSdb 2026-07-24_engineering-database-csdn.md ★★★☆☆ ——PG17、Redis/MySQL 运维
jay/1950 eve 2026-07-25-1950-jay-engineering-filter.md ★★★☆☆ 工程 filter,含向量 DB 部分内容
paper_cards (Jul 25 新卡) 476-2302-04761, 474-2303-13375, 469-2304-07193, 438-2312-10997 主分类均非 database
paper_cards (database 分类) 013-2606-16903(TrieHI, 7/25 新入库), 054-2606-08950(VDB HPC 扩展悖论), 096-2605-00676(Living Databases), 101-2606-09824(TSseek), 103-2606-07923(Larch), 128-2604-06566(ADRS), 137-2509-12384(Qdrant HPC) 均属 database 分类,与本次增量高度相关

一、增量条目(7 条)


增量 1:向量数据库 2026 选型格局固化——pgvector ≤ 10M / Qdrant 10M–5亿 / Milvus 亿级+

来源2026-07-25-1105-db-backend-cloudnative-inference-briefing.md(Jay)+ 2026-07-25-1610-evening-briefing-cncf-llm-d-rag-inference-vecdb.md(Jay)综合 arXiv 引用2606.08950(VDB HPC 扩展悖论)、2509.12384(Qdrant HPC 实测)

要点: - 10M 向量以下:pgvector 是默认最优解(已是 Postgres 生态则无脑选);pgvectorscale 可提供 471 QPS @ 99% recall - 10M–50M:pgvectorscale 或 Qdrant(HNSW + payload 过滤强) - 50M–5 亿:Qdrant(Rust,~12ms P50,节点职责架构分离,并发隔离优于 Milvus) - 亿级+多租户:Milvus(K8s 原生分布式) - 全托管免运维:Pinecone(~10–15ms P50),成本较高 - HPC 场景扩展悖论:arXiv 2606.08950 揭示 256 workers 仅带来 5.46× 提速,证明向量 DB 在超大规模下存在扩展天花板,盲目增加节点反而可能降低吞吐

与 knowledge/database.md 现有脉络的关系: - 活文档应有"向量数据库选型"节,该增量是 2026H2 最新规模-路线对照表,可直接替换/补充"专用向量数据库 vs 数据库内建向量"路线对比 - 2606.08950 的 HPC 悖论是新增维度——此前版本未覆盖"超大规模扩展失效"现象

建议归入章节:向量数据库选型 / 第三节 2026H2 格局


增量 2:pgvector HNSW 生产参数陷阱——ef_search > 200 导致 PostgreSQL 优化器绕过索引

来源2026-07-24-1506-db-cloud-backend-csdn.md(Jay) arXiv 引用:无直接对应,但与 2606.08950 形成互补(HPC 大规模 vs 单机生产)

要点: - HNSW ef_search 参数 > 200 后,PostgreSQL 优化器会改为 Seq Scan + Sort(365ms vs 2.5ms),完全绕过向量索引——这是生产中极易踩的坑 - m 参数在构建时一次性确定,决定图密度,影响 recall vs 内存 tradeoff - Partial Index 技巧:按分类建部分索引,体积缩小 11×,构建速度提升 20× - DiskANN(SBQ 压缩):存储体积比 HNSW/IVFFlat 小 9×,3ms 完成 3072 维最近邻查询 - 索引体积警告:HNSW + B-tree 总体积约为数据本体 2–4.5×,高维向量场景须提前规划存储

与 knowledge/database.md 现有脉络的关系: - 活文档"pgvector 生产实践"节目前缺少 HNSW 参数陷阱数据;该条目应补充 ef_search 上限建议(≤ 200),并加入 Partial Index 和 DiskANN 新选项

建议归入章节:pgvector 生产实践 / 参数调优


增量 3:PostgreSQL-V——向量索引与存储引擎解耦,比 pgvector 快 8.9×(CIDR 2026)

来源2026-07-24-1506-db-cloud-backend-csdn.md(Jay) arXiv 引用2605.17152(LSM-VEC,LSM-tree + 动态向量搜索)交叉参考

要点: - pgvector 受制于 PostgreSQL 面向页的存储结构,索引效率存在天花板 - PostgreSQL-V 核心思路:向量索引完全从 PostgreSQL 存储引擎解耦,直接利用原生向量索引库(如 HNSWLib),绕过 page-oriented 开销 - 关键技术:LSM-based 索引框架 + 轻量级崩溃一致性机制(复用已有 WAL + 检查点,无需额外分布式协调) - 实验结果:与专用向量数据库(Milvus / Qdrant)性能持平;比 pgvector 快 8.9× - 路线之争里程碑:解耦架构可能是内建向量扩展的最终答案

与 knowledge/database.md 现有脉络的关系: - 该条目对应"专用向量数据库 vs 数据库内建向量"讨论,是继 2505.17152(LSM-VEC)之后又一重要数据点;解耦路线获得量化支撑(8.9×),应作为独立子议题更新

建议归入章节:向量数据库架构选型 / PostgreSQL 内建向量路线


增量 4:SIGMOD/VLDB 2026——O3-LSM(分解式内存三层层卸载)、DART(无锁 ART)、Terark-DS(KV 分离)

来源2026-07-24-1506-db-cloud-backend-csdn.md(Jay)

要点

O3-LSM(SIGMOD 2026,arXiv 未编号,直接 PDF): - Purdue DASLab,分解式内存(DM)架构下的 LSM-KVS - 三层卸载策略:DM-optimized memtables + cache-enhanced read delegation + shard-level flush offloading - p99 写延迟降低 45%,吞吐量提升 38% - 适合与 TiDB/OceanBase 生产实践对比

DART(SIGMOD 2026): - 分解式内存无锁双层哈希 ART 索引 - 双层哈希 + ART 无锁设计,CAS 替代全局锁 - 适用:高并发 OLTP + 点查 + 范围查询

Terark-DS(VLDB 2026,doi:10.14778/3796195.3796198): - 针对 disaggregated storage 重新设计 KV 分离布局 - 冷 value 下推远程存储,热数据保留本地 NVMe cache - 存储成本降低 50%,p99 读延迟降低 30% - Artifact 可用:github.com/Terark/Terark-DS

与 knowledge/database.md 现有脉络的关系: - 活文档应有"数据库内核研究"节,O3-LSM/DART/Terark-DS 三者可组成"Disaggregation × Storage Engine"专题,与已有的 LSM-tree 内容形成延续

建议归入章节:数据库内核 / LSM × Disaggregation


增量 5:Directory-Aware Vector DB——TrieHI 打破膨胀式设计的根本局限(arXiv:2606.16903,7/25 新入库)

来源:paper_card 013-2606-16903,主分类 database,2026-07-25 入库

要点: - 现有膨胀式(expansion-based)设计的根本局限:扁平化目录结构导致 PE-Online 递归查询延迟高,两种膨胀策略在结构变更时均产生不可扩展的写放大 - TrieHI 核心设计:保留目录拓扑为原生前缀树,通过树遍历实现高效递归检索,通过拓扑节点操作降低维护成本 - 关键贡献:揭示了"膨胀式"路线的算法上限,为目录感知的向量数据库索引提供了新范式

与 knowledge/database.md 现有脉络的关系: - 该条目与"向量数据库选型"和"索引结构"节均相关;2606.16903 是 7/25 当日新卡,应作为增量最高优先级条目之一处理

建议归入章节:向量数据库索引结构 / TrieHI 目录感知路线


增量 6:vLLM MRV2——56% 吞吐提升但需显式启用(v0.20.0+,FP8 / Disagg Serving)

来源2026-07-25-1105-db-backend-cloudnative-inference-briefing.md(Jay) arXiv 引用2605.17613(VeriCache,KV Cache 压缩替代 EAGLE 类 draft model)

要点: - MRV2 基于 GPU-native Triton kernels + async scheduling,需显式设置 VLLM_USE_V2_MODEL_RUNNER=1 - GB200 最高 56% 吞吐提升(结果因硬件而异) - 2026 上半年关键功能:FP8 inference(H100/B200)、NGram GPU speculative decoding、Chunked Prefill(p95 改善 68%)、Disaggregated Serving(实验性)、Native RL APIs - VeriCache(arXiv:2605.17613):压缩 KV Cache 替代 EAGLE 类 draft model,Qwen-32B 接受长度 ~19、Llama-70B ~23;比传统 speculative decoding 高一个数量级,且无损 - Prefill-Decode Disaggregation:prefill 计算 bound / decode 内存 bound,vLLM 已支持实验性分离;适合长 prompt + 短输出(RAG)或短 prompt + 长输出(代码生成)

与 knowledge/database.md 现有脉络的关系: - 活文档"推理引擎"或"LLM 基础设施"节已有 vLLM 内容;MRV2 的 56% 提升和 disaggregated serving 应作为 2026H2 重点更新条目;VeriCache(2605.17613)的 KV Cache 自压缩路线值得在数据库 × AI 推理交叉处单独成节

建议归入章节:LLM 推理优化 / vLLM 2026H1 更新 / 第四节 MRV2


增量 7:llm-d 加入 CNCF Sandbox——Kubernetes AI 基础设施编排层正式登场

来源2026-07-25-1610-evening-briefing-cncf-llm-d-rag-inference-vecdb.md(Jay)

要点: - 创始成员:Red Hat + Google Cloud + IBM Research + CoreWeave + NVIDIA;2026-03-24 正式加入 CNCF Sandbox - 使命:any model, any accelerator, any cloud——将分布式 LLM 推理作为一级云原生工作负载 - llm-d ≠ 推理引擎,是 orchestration layer,可管理 vLLM/SGLang/TensorRT-LLM 生命周期 - 核心技术:LeaderWorkerSet(LWS,多节点分布式推理标准抽象)、DisaggregatedSet operator(Mistral AI 贡献) - CNCF 2026 数据:66% 托管生成式 AI 的组织使用 K8s,82% 容器用户在生产环境运行 K8s

与 knowledge/database.md 现有脉络的关系: - 该条目属于云原生 AI 基础设施,与数据库的关联是间接的(模型权重存储:LINSTOR CSI / Model CSI Driver);但 disaggregated serving 与数据库存储引擎的 disaggregation 趋势形成呼应,可在"云原生数据库"节补充 llm-d 生态定位

建议归入章节:云原生 AI 基础设施 / llm-d CNCF 生态


二、值得警惕的矛盾或待核实说法

# 说法 风险 建议
1 vLLM MRV2 在 GB200 上 56% 吞吐提升 该数字来源为第三方 Spheron Blog,未在 vLLM 官方 release note 独立核实;提升幅度因硬件、模型、负载差异可能变化大 需提取 vLLM v0.20.0 官方 changelog 交叉验证
2 pgvector ef_search > 200 绕过索引(365ms vs 2.5ms) 实测数据来自 DBI-Services 博客,未说明具体 PostgreSQL 版本、硬件配置、向量维度和数量 补充原始实验配置;在自有环境复现后再写入活文档
3 PostgreSQL-V 比 pgvector 快 8.9× CIDR 2026 论文,benchmark 环境未公开;pgvector 性能与版本(HNSW vs ivfflat)强相关 关注论文正式版本及开源代码发布
4 O3-LSM p99 写延迟降低 45% Purdue DASLab 内部 benchmark,未在公开测试集验证 对照 ICDE 2023 dLSM 系列工作验证演进路径
5 Qdrant 在 340M 向量 Reddit 规模"并发隔离优于 Milvus" 来自 Medium 经验文章,非受控实验;Milvus 版本、配置参数未说明 2509.12384(Qdrant HPC paper)交叉核实

三、可引用 arXiv 号列表(按编号排序)

arXiv 号 标题 与 database 主题关系
2606.16903 TrieHI: Directory-Aware Query in Vector DBs 直接:向量数据库索引结构,7/25 新入库
2606.08950 When More Cores Hurts: VDB HPC Scaling Paradox 直接:向量数据库超大规模扩展悖论
2605.17613 VeriCache: KV Cache Compression 直接:KV Cache 压缩,数据库 × AI 推理交叉
2605.17152 LSM-VEC: LSM-tree + Vector Search 直接:LSM-tree 存储 + 动态向量搜索
2509.12384 Qdrant on HPC Supercomputer 直接:Qdrant 分布式实测
2605.00676 Living Databases: Schema Evolution 间接:持续 schema 演进数据库抽象
2606.09824 TSseek: Time Series Regex Search 间接:分布式时序数据检索
2606.07923 Larch: Semantic Filter Optimization 间接:AI SQL 查询优化
2604.06566 ADRS: AI-Driven DB Systems 间接:AI 驱动数据库系统设计

四、增量汇总

# 条目 类型 arXiv
1 向量数据库 2026 选型格局固化(pgvector ≤10M / Qdrant 10M–5亿 / Milvus 亿级+) 工程选型 2606.08950
2 pgvector HNSW ef_search > 200 陷阱 + DiskANN + Partial Index 工程实践
3 PostgreSQL-V:向量索引解耦,比 pgvector 快 8.9×(CIDR 2026) 学术
4 SIGMOD/VLDB 2026:O3-LSM / DART / Terark-DS 学术
5 TrieHI 目录感知向量 DB 索引,突破膨胀式设计局限 学术 2606.16903
6 vLLM MRV2 + VeriCache + Disaggregated Serving 工程+学术 2605.17613
7 llm-d CNCF Sandbox——Kubernetes AI 编排层 云原生

无显著新增量时如实说明:本次共发现 7 条增量,均来自近 2 日 inbox 综合分析,无硬凑字数。paper_cards 近 3 日新卡中,013-2606-16903(TrieHI)是唯一当日入库且主分类为 database 的条目,其余新卡(476-2302-04761 等 4 张)主分类均非 database。