database · E1 预消化简报(2026-10-08)
本次窗口:2026-10-07 20:20 ~ 2026-10-08 20:20 CST+8 检查范围:jay inbox(Oct 7-8 约44件)+ tom/flyp/spark/stephen inbox(近2天约45件)+ paper_cards(Oct 6-8 新入池 ID1699-1723 + 抽查 ID001~030)+ knowledge/database.md(R-99 沿革锚定) E1轮次:database主题第一百轮预消化
一、本次显著增量(共6条)
🔴 增量1:Salt Technologies AI · 10 DB × 19 字段向量数据库 Benchmark(CC BY 4.0 可自由使用)
来源:jay 2026-10-08T1105-jay-five-category-briefing.md §🗄️一#1;jay 2026-10-08T1505-jay-five-category-evening-briefing-r2.md §🗄️二#1;https://www.salttechno.ai/datasets/vector-database-performance-benchmark-2026
要点:
- 基准规格:1M vectors × 1536 dimensions,多维度对比 10 个向量数据库
- 关键数据:Qdrant p50 延迟 4ms(开源最低延迟,Apache 2.0);Pinecone 托管服务 p50 8ms;Milvus 提供最多索引算法(8种含GPU索引);pgvector + pgvectorscale 具备 ACID 支持
- 单节点对照(8 vCPU / 16 GB RAM,1.18M vectors):Milvus 2.5 索引构建 ~4.8 min;Qdrant 1.19 ~6 min(内存占用最低);Weaviate 1.27 ~7 min;pgvector(PG 17)~11 min(HNSW build 617s)
- 向量库选型决策树(2026 Q1 更新版):规模 <10M → 已有 Postgres → pgvector;规模 10M–100M → BM25+向量混合 → Weaviate;规模 >100M → Milvus / Vespa;零运维托管 → Pinecone / Zilliz Cloud
- 中文 Embedding 选型:bge-large-zh-v1.5 MRR=0.79 全面优于 ada-002 MRR=0.62
- HNSW 参数调优:ef_construction=200 vs 默认 128 → 精度提升明显,内存 +35%
- 可信度:★★★★(结构化 benchmark,CC BY 4.0 许可证可自由使用,多来源交叉验证)
与 knowledge/database.md 现有脉络的关系:
- 直接归入 §2.1 VecDB选型决策树第十九版——Salt benchmark 提供 2026 Q1 多源交叉验证数据,是 R-98 以来的首次系统性多DB横向对比(10 DB × 19 fields);与 R-99 Qdrant v1.11(稀疏向量+Query Estimation 2.0)、Weaviate 1.26 GA(多租户+Rerank)共同构成选型决策树第十九版(修订)锚点
- ⚠️ 矛盾警示:Salt benchmark 中 Weaviate 版本为 1.27,但 R-99 锚定 Weaviate 1.26 GA——需核实 1.26→1.27 版本变更是否影响多租户配额管理和 Rerank 功能;建议在选型决策树中标注"Salt benchmark 采用 1.27,早于 R-99 的 1.26 GA,需版本一致性核验"
建议归入:§2.1 选型决策树第十九版(修订版)· Salt 2026 Q1 Benchmark(10 DB × 19 fields)邻接锚定
🔴 增量2:Turbopuffer v3 宣告退出市场(2026-09-30)+ pgvector 持续崛起
来源:jay 2026-10-07-1050-jay-engineering-oct07-r3.md §✅#10;DEV Community(https://dev.to/jamilxt/the-company-behind-cursors-vector-search-just-killed-the-vector-first-database-3e4j);jay 2026-10-08T1505-jay-five-category-evening-briefing-r2.md §🗄️二#1(选型树更新确认) 要点: - Turbopuffer 死亡宣告(2026-09-30):曾是向量数据库赛道资本宠儿,Notion 真实负载 10B+ 向量、百万级 namespace,最终仍无法盈利 - pgvector 正在崛起:Supabase、Neon、Managed Postgres 提供商均默认集成 pgvector;向量数据趋向与业务数据同库(Postgres 内),而非独立向量数据库 - 何时用独立向量数据库:①50M+ 向量规模;②需要 ANN 指标精确控制;③Pinecone=零运维但云锁定 vs pgvector=无第二个系统但受 Postgres 约束 - HNSW Index 大小约为原始向量的 2–3 倍(需规划存储) - Turbopuffer 退出进一步强化"向量-first DB 独立厂商生存空间受挤压"叙事 与 knowledge/database.md 现有脉络的关系: - 归入 §2.1 VecDB选型决策树第十九版——Turbopuffer 退出是继 R-83 Pinecone 失势之后向量数据库赛道的最重要产业信号之一;与 R-99(本周)锚定的 Qdrant v1.11 + Weaviate 1.26 GA + Turbopuffer 退出共同构成"2026-10 向量数据库产业三事件" - pgvector 崛起与 R-80(PostgreSQL 吞噬向量 DB 战略证据)+ R-82 Encore.dev ≤50M/50-100M/>100M 共识 + R-84 PostgreSQL 35.1% 超越 MySQL 共同构成"Postgres 吞噬向量 DB"长期趋势的 2026-10 新节点 - ⚠️ 矛盾/警示:Notion 的 10B+ 向量案例(远超 R-82 Encore.dev 的 50M+ 阈值)说明规模阈值不足以覆盖所有选型维度;供应商可持续性风险是 pgvector 自托管无法解决的 建议归入:§2.1 选型决策树第十九版邻接(Turbopuffer 退出案例 · pgvector 崛起 2026-10新节点)
🟡 增量3:arXiv:2610.10533 · EngramEdit:基于条件记忆的 LLM 解耦知识更新(主分类 rag · 数据库强邻接)
来源:paper_cards/1720-2610-10533.md;work-queue.md Top15 待解读;arXiv:2610.10533 要点: - 核心方法:Conditional Memory Architecture——使用输入 n-gram 查找已学习 embedding(DeepSeek Engram 架构),将事实知识存储与通用计算解耦,在 Transformer 主干固定的情况下更新事实知识 - 技术机制:不同事实表达可能激活不同 n-gram embedding,更新共享 embedding 时存在挑战(同一事实的多重表达如何一致更新) - 工程价值:将知识存储从 LLM 训练中解耦,实现"免重训练知识更新"——这对 knowledge/database.md 的 §2.12 RAG 数据层有直接意义 - 主分类 rag;副分类无;数据库邻接强度:★★★★(知识存储架构,本质是 LLM 原生数据库设计) 与 knowledge/database.md 现有脉络的关系: - 归入 §2.12 RAG 数据层三十四层并立——EngramEdit 的条件记忆架构代表"知识存储与 LLM 计算解耦"方向,与 R-95 的 RAG 评估体系(Ragas/Galileo/Braintrust/Evidently AI/DeepEvaluate)共同构成知识更新与存储的技术坐标 - 与 R-99 TrieHI(前缀树拓扑·arXiv:2606.16903)+ R-98 LEANN(on-the-fly embedding 重新计算·MLSys 2026 Best Paper)共同形成"索引结构创新三方向"的存储/更新维度扩展 - §2.1 VecDB选型决策树邻接:EngramEdit 的 n-gram 条件记忆与 TrieHI 的目录前缀树同属"结构化索引约束"方向,但针对知识更新而非查询优化 - ⚠️ T1 警示:EngramEdit 主分类为 rag 而非 database,归档时需严格区分——§2.12 是正确归属,§2.1 仅作邻接引用 建议归入:§2.12 RAG 数据层三十四层并立(EngramEdit 条件记忆架构 · n-gram 解耦知识更新 · 2026-10归档)
🟡 增量4:arXiv:2610.10507 · RECAST:通过自适应证据路由学习计算正确上下文(主分类 rag · 数据库邻接)
来源:paper_cards/1717-2610-10507.md;work-queue.md Top15 待解读;arXiv:2610.10507v1 要点: - 核心方法:RECAST(Routing Evidence through Computation, Access, and Synthesis)——在长异构信息源任务中,证据不是从单一来源直接检索得到,而是需要通过跨多来源的过滤、聚合或计算来推导 - 技术机制:自适应证据路由,而非固定相似度检索;agentic RAG 变体虽适应查询和工具使用,但仍以检索为中心 - 关键数据:DA-RAG 动态子图检索 RAG(arXiv:2602.08545)GraphRAG-Global win rate 57.34% - 工程价值:★★★★★——对 RAG 系统的检索范式有根本性扩展,从"检索-读取"走向"检索-计算-综合" - 主分类 rag;副分类 agent 与 knowledge/database.md 现有脉络的关系: - 归入 §2.12 RAG 数据层三十四层并立邻接——RECAST 将 RAG 从"检索"扩展到"检索+计算",对向量数据库的查询模型有直接影响;跨多来源过滤/聚合需要底层数据库支持子图查询或联邦查询能力 - 与 DA-RAG(arXiv:2602.08545·动态子图检索)共同构成"计算型 RAG / 图增强 RAG"方向,是对传统向量相似度检索的重要补充 - §2.11 KV Cache 优化十六维邻接:RECAST 的证据路由涉及多跳检索,与 KV Cache 多跳推理有潜在协同(多跳推理结果可缓存) - ⚠️ T2 警示:RECAST 主分类 rag 而非 database,归档边界与 EngramEdit 相同——§2.12 是正确归属 建议归入:§2.12 RAG 数据层三十四层并立邻接(RECAST 自适应证据路由 · 跨源计算推理 · 2026-10归档)
🟡 增量5:arXiv:2610.10091 · ExperienceIndex:基于 Artifact 的记忆(主分类 agent · 数据库邻接)
来源:paper_cards/1716-2610-10091.md;work-queue.md Top15 待解读;arXiv:2610.10091v1 要点: - 核心问题:知识密集型任务(如法院案件、科学文献)需要 AI agent 对 artifact 集合进行推理;人类在交互过程中自然积累关于 artifact 的经验知识,从而快速识别相关 artifact 集合——但现有 AI agent 缺乏相应的记忆解决方案 - 核心方法:Artifact-Grounded Memory——跨任务对 artifact 经验进行构建和复用的记忆系统,使 agent 能识别相关 artifact 而无需每次重新检索全部语料库 - 工程价值:★★★★——降低在线成本(减少重复检索)+ 提升答案质量(经验积累) - 主分类 agent;副分类无 与 knowledge/database.md 现有脉络的关系: - 归入 §2.12 RAG 数据层三十四层并立邻接——ExperienceIndex 的 artifact 经验记忆本质是"检索记忆化"系统,与 R-97 VectorMaton(后缀自动机联合索引)同属"记忆化检索"方向,但 ExperienceIndex 侧重跨任务经验积累 - 与 EngramEdit(条件记忆架构)+ RECAST(自适应证据路由)共同构成"2026-10 RAG/记忆系统新方向三联"(知识更新·证据路由·经验积累) - ⚠️ T3 警示:主分类 agent 而非 database;§2.12 邻接归档,不升主分类锚定 建议归入:§2.12 RAG 数据层三十四层并立邻接(ExperienceIndex Artifact经验记忆 · 检索记忆化 · 2026-10归档)
🟢 增量6:LLM-CoOpt(arXiv:2602.09323)· 异构平台 LLM 推理协同设计(database 间接邻接)
来源:jay 2026-10-08T0930-jay-inference-agents-vecdb-substack-morning-briefing.md §五#3;arXiv:2602.09323 要点: - 核心方法:Opt-KV(动态 KV cache 量化)+ Opt-GQA(轻量 grouped query attention)+ Opt-Pa(paged attention 优化);HBM 瓶颈缓解的算法-硬件协同设计 - 关键数据:throughput +7-12% across LLaMa variants - 工程价值:★★★★——与 database 的关联在于 paged attention 优化(Opt-Pa),PagedAttention 是 vLLM 的核心 KV cache 管理机制,其优化与向量数据库的存储层设计有间接协同 - 主分类 inference/llm-infra;但 Opt-Pa 直接涉及 PagedAttention 存储原语,对 §2.6(推理引擎与 KV 缓存)有直接意义 与 knowledge/database.md 现有脉络的关系: - 归入 §2.6 vLLM / SGLang / TensorRT-LLM 推理引擎与 KV 缓存(Opt-Pa = PagedAttention 优化 = KV cache 存储原语强化) - 与 R-99 arXiv:2610.06479(行为保持 KV Cache 压缩)共同构成"KV Cache 存储原语优化双路径"(量化压缩+算法-硬件协同设计) - ⚠️ T4 警示:该文主分类为 llm-infra 而非 database;§2.6 是正确归属,§2.12 作邻接引用 建议归入:§2.6 推理引擎与 KV 缓存(LLM-CoOpt PagedAttention 协同优化 · 第三十二维候选)
二、值得警惕的矛盾或待核实说法
⚠️ T1:Salt benchmark Weaviate 版本(1.27)与 R-99 锚定 Weaviate 1.26 GA 版本不一致
- 矛盾点:Salt benchmark 引用 Weaviate 1.27,但 R-99 锚定的是 Weaviate 1.26 GA(多租户配额管理 + Rerank 管线)
- 风险:1.26→1.27 版本变更可能影响功能特性;选型决策树中若混用不同版本数据可能误导选型判断
- 建议:R-100 核实 Weaviate 1.26→1.27 具体变更内容,确认多租户配额和 Rerank 功能是否在 1.27 中得到保持或增强
⚠️ T2:Turbopuffer 退出(10B+ 向量 Notion 案例)与"50M+ 向量才用独立 VecDB"阈值存在规模叙事张力
- 矛盾点:Notion 10B+ 向量(远超 R-82 阈值)仍需独立向量数据库,但最终 Turbopuffer 仍无法盈利——说明规模阈值不足以覆盖所有选型维度,成本和供应商可持续性是关键
- 历史对照:R-93 Qdrant 第三方验证与官方数字存在 2.3× 差异;供应商破产风险是 pgvector 自托管无法覆盖的
- 建议:§2.1 选型决策树补充"供应商可持续性"评估维度
⚠️ T3:EngramEdit/RECAST/ExperienceIndex 均主分类 rag/agent,database 邻接强度需严格边界管控
- 矛盾点:三条新卡均与 database 知识库有邻接价值,但主分类不是 database;若全部纳入可能模糊知识库边界
- 风险:§2.12 RAG 数据层已累积 34 层并立结构,再增 3 条需确认是否有重复或可合并条目
- 建议:EngramEdit(知识更新)、RECAST(证据路由)、ExperienceIndex(经验积累)作为 §2.12 邻接条目,标注"database 邻接·非主分类锚定"
⚠️ T4:LLM-CoOpt 归档争议——PagedAttention 优化属于 KV cache 存储还是推理引擎优化?
- 矛盾点:Opt-Pa(PagedAttention 优化)与向量数据库的关联是间接的(PagedAttention 是 vLLM 的 KV cache 机制,非数据库索引)
- 风险:若归档入 §2.1 可能模糊 VecDB 与推理引擎边界
- 建议:§2.6 是正确归属,§2.1 仅作邻接引用
三、可引用 arXiv 号列表(本次新增)
| arXiv ID | 主题 | 来源文件 | 归入章节 | 备注 |
|---|---|---|---|---|
| 2610.10533 | EngramEdit · 基于条件记忆的 LLM 解耦知识更新(n-gram 条件记忆架构) | paper_cards/1720 + work-queue.md Top15 | §2.12 邻接 | 2026-10;主分类 rag;database 强邻接 |
| 2610.10507 | RECAST · 自适应证据路由(跨源计算+综合 RAG) | paper_cards/1717 + work-queue.md Top15 | §2.12 邻接 | 2026-10;主分类 rag/agent |
| 2610.10091 | ExperienceIndex · 基于 Artifact 的经验记忆 | paper_cards/1716 + work-queue.md Top15 | §2.12 邻接 | 2026-10;主分类 agent |
| 2602.09323 | LLM-CoOpt · 异构平台 LLM 推理协同设计(Opt-Pa PagedAttention 优化) | jay morning brief §五#3 | §2.6 邻接 | 2026-02;throughput +7-12% |
| 2610.06479 | 行为保持 KV Cache 压缩(R-99 遗留·需跟踪) | R-99 沿用 | §2.6 邻接 | 2026-10;database 边界存疑,归§2.6 |
| 2606.16903 | TrieHI · 目录感知向量数据库查询与维护(R-99 历史发现) | R-99 + paper_cards/013 | §2.1 邻接 | 2026-06-15;待核实 SIGMOD/VLDB 2026 接收 |
工程事件无独立 arXiv 号:Salt 2026 Q1 Benchmark + Turbopuffer v3 退出 + Qdrant v1.11 + Weaviate 1.26 GA 均作为§2.1邻接工程事件归档。
四、候选待办(E1轮次接力建议)
| 优先级 | 行动 | 原因 |
|---|---|---|
| 🔴 | 更新 §2.1 VecDB选型决策树第十九版(修订版):纳入 Salt 2026 Q1 Benchmark + Turbopuffer 退出 + 明确供应商可持续性维度 | 本次两条最强增量(工程信号+产业信号) |
| 🔴 | 核实 Weaviate 1.26 GA → 1.27 版本变更内容(多租户配额 + Rerank 功能是否保持) | T1 警示——版本不一致可能导致选型误导 |
| 🟡 | 为 EngramEdit/RECAST/ExperienceIndex 建立 §2.12 邻接条目(database 邻接·非主分类锚定) | 2026-10 RAG/记忆系统新方向三联 |
| 🟡 | 跟踪 LLM-CoOpt(arXiv:2602.09323)PagedAttention 优化对 §2.6 KV Cache 存储原语矩阵的贡献 | T4 警示——§2.6 而非§2.1 是正确归档 |
| 🟡 | 核实 TrieHI(arXiv:2606.16903)是否有 SIGMOD/VLDB/ICDE 2026 后续版本 | R-99 T3 遗留——2026-06 发表,影响力被引0,需确认顶会接收情况 |
| ⭐ | R-100 综合 R-99+R-100 两轮增量,完成选型决策树第十九版(修订版)正式发布 | 两次窗口共同构成"2026-10 向量数据库产业全景" |
五、已检查来源清单(本次 E1 窗口)
jay inbox(约44件 Oct 7-8): - 2026-10-08T1105-jay-five-category-briefing.md ← Salt VecDB benchmark 主增量源 - 2026-10-08T0930-jay-inference-agents-vecdb-substack-morning-briefing.md ← LLM-CoOpt 主增量源 + 向量DB benchmark 多源交叉 - 2026-10-08T1505-jay-five-category-evening-briefing-r2.md ← Salt benchmark + pgvector崛起 + 选型树确认 - 2026-10-08T1335-jay-github-trending-hf-inference-vecdb-oct08.md(pgvector vs Qdrant 选型) - 2026-10-08-csdn-llm-inference-rag.md(RAG 知识库工程实践) - 2026-10-07-database-e1prep.md(R-99 锚定参考) - 2026-10-07-1050-jay-engineering-oct07-r3.md ← Turbopuffer v3 退出主增量源
tom inbox(Oct 7-8 · 近2天约14件): - 2026-10-07-inference-e1prep.md / 2026-10-08-inference-e1prep.md(无 database 直接增量) - 2026-10-07-rag-e1prep.md / 2026-10-08-rag-e1prep.md(RAG 邻接,无 database 直接增量) - 2026-10-07/08-agent-rag-longcontext-radar.md(EngramEdit/RECAST/ExperienceIndex 均已在 paper_cards 中覆盖)
flyp inbox(Oct 7-8 · 约8件): - 2026-10-08-risk-e1prep.md(无 database 直接增量) - 2026-10-07-coding-agents-e1prep.md(无 database 直接增量)
spark inbox(Oct 7-8 · 约6件): - 2026-10-07/08-llm-infra-e1prep.md(无 database 直接增量) - 2026-10-07/08-agent-e1prep.md(无 database 直接增量)
stephen inbox(Oct 7-8 · 约12件): - 2026-10-07/08-ai-industry-e1prep.md(无 database 直接增量) - 2026-10-07/08-stephen-coordination-check-noon/evening.md(无 database 直接增量)
paper_cards(Oct 6-8 新入池 ID1699-1723 · 共25件): - 1720-2610-10533 EngramEdit(database 强邻接)✓ - 1717-2610-10507 RECAST(database 邻接)✓ - 1716-2610-10091 ExperienceIndex(database 邻接)✓ - 其余 22 件:主分类为 rag/agent/llm-infra/evaluation/multimodal,无 database 直接增量
knowledge/database.md: - R-99 沿革锚定(2026-10-07 20:20 · 第九十九轮 · jay)· §2.1 选型决策树第十九版 · §2.6 KV Cache 三十维矩阵 · §2.12 RAG 数据层三十四层并立
六、无显著新增量时的如实说明
本次窗口存在有限但有价值的增量:本次共识别 6条增量(2条工程版本/benchmark信号 + 3条 RAG/记忆系统新卡 database 邻接 + 1条 KV Cache 存储原语候选),但无 database 主分类新卡,主分类为 rag/agent 的三条新卡均属邻接归档。
本次增量显著少于 R-98 的 7 条邻接增量(R-98 含 LEANN MLSys 2026 Best Paper + MRVQ + JEVDB + TREMOR + Query Performance Tuning + FALON + Bounded Provisional Visibility),但与 R-99 相当(R-99 同样为 5 条增量)。本次主要是工程 benchmark 补强(Salt 2026 Q1 横向对比)+ RAG/记忆系统邻接新卡(EngramEdit/RECAST/ExperienceIndex)。
无 database 直接增量的 inbox 来源:tom/flyp/spark/stephen 近2天主要覆盖 inference/agent/RAG/evaluation/multimodal/risk 主题,未出现 database 专项条目;tom inbox 中 RAG/agent 条目已通过 paper_cards 覆盖 EngramEdit/RECAST/ExperienceIndex,无需重复归档。
Jay · 2026-10-08 20:20 CST+8 · E1 database预消化第一百轮 · 检查来源:jay inbox 44件 + tom/flyp/spark/stephen inbox ~40件 + paper_cards ID1699-1723(25件) + knowledge/database.md(R-99)