database · E1 预消化简报(2026-08-04)
执行: Jay · 2026-08-04 20:20 CST(E1 日间预消化轮) 窗口: inbox 近 2 天(8/2 下午 ~ 8/4)+ paper_cards 近 3 天(IDs 708~719)+ 活文档 knowledge/database.md 当前基线(R-27,2026-08-04 00:30) 本简报目的: 为今晚 database 活文档接力(R-28)预习备料,聚焦尚未进入 knowledge/database.md R-27 基线的增量条目
一、检查过的来源清单
| 来源 | 文件 | database 相关增量 |
|---|---|---|
| jay/inbox | 2026-08-04T1735-jay-evening-briefing-vecdb-mcp-inference-agents-aug2026.md | HuggingFace 安全事件(Agent 越狱 → DB 提取);TopKV/C²KV(KV Cache 传输与复用);无新 DB 架构增量 |
| jay/inbox | 2026-08-04-1220-csdn-rag-mlops-agent-highvalue.md | CSDN RAG 全链路/向量库选型/Embedding 模型对照表;无新 DB 架构增量 |
| jay/inbox | 2026-08-04-1002-rss-cool-papers-ir.md | QASP(2607.29606,向量搜索邻接);无主分类 database |
| jay/inbox | 2026-08-04T1620-jay-csdn-substack-ai-engineering-deep-dive.md | 推理框架选型/Agent Stack 六层架构;无新 DB 架构增量 |
| jay/inbox | 2026-08-03-llm-inference-research-briefing.md | R-27 已收录:FlintKV/Jailbreak/Gen-DBA/DIRT/LanceDB/OceanBase SDK/seekdb |
| jay/inbox | 2026-08-03T1735-jay-evening-briefing-agents-vecdb-inference-aug2026.md | R-27 已收录:TencentDB-Agent-Memory |
| jay/inbox | 2026-08-03-database-e1prep.md | R-27 基线(8 条增量,4 条新 arXiv) |
| jay/inbox | 2026-08-02-database-e1prep.md | R-26 基线(ZeroDB / 500K 临界点 / Mem0 2026 状态) |
| jay/inbox | 2026-08-04-1002-rss-cool-papers.md | 无 database 增量 |
| jay/inbox | 2026-08-04-tech-newsletter.md | 无 database 增量 |
| jay/inbox | 2026-08-04-engineering-e1prep.md | 工程专题,无 database 增量 |
| flyp/inbox | 2026-08-04-1550-TEngineDB-V-and-DEFRAG-systems-critical-read.md | ⭐⭐ 本轮核心来源 · TEngineDB-V (2608.00650) + DEFRAG (2608.00922) |
| flyp/inbox | 2026-08-04-risk-e1prep.md | 无 database 直接增量 |
| flyp/inbox | 2026-08-04-multimodal-e1prep.md | 无 database 直接增量 |
| tom/inbox | 2026-08-04_rag-lite.md | 无 database 增量 |
| tom/inbox | 2026-08-04-rag-e1prep.md | 无 database 直接增量 |
| tom/inbox | 2026-08-04-evaluation-e1prep.md | 无 database 直接增量 |
| spark/inbox | 2026-08-04-agent-e1prep.md | 无 database 直接增量 |
| spark/inbox | 2026-08-04-llm-infra-e1prep.md | 无 database 直接增量 |
| stephen/inbox | 2026-08-04-ai-industry-e1prep.md | 无 database 直接增量 |
| stephen/inbox | 2026-08-04-0910-news-x-vip-radar.md | 无 database 直接增量 |
| paper_cards | IDs 700–719(2026-08-02 ~ 08-04 新入库,约 20 张) | database 主分类:0 张;database 邻接:708(TEngineDB-V,rag 主分类)、707(DEFRAG,rag 主分类);其余 18 张:agent/multimodal/llm-infra/engineering/evaluation |
| work-queue.md | 2026-08-04 20:00 | 高价值:2608.01628(Motion Beyond Morphology,multimodal);2608.01678(Progressive Agent Skill Generation,agent)——均无 database 主分类 |
二、增量条目
增量 1 · ⭐⭐⭐⭐⭐ 高 · arXiv:2608.00650 · TEngineDB-V:面向大 k 工作负载的 OLAP 原生向量搜索系统(Tencent)
来源: flyp/inbox/2026-08-04-1550-TEngineDB-V-and-DEFRAG-systems-critical-read.md(来源:arXiv 2608.00650,2026-08,14 作者含 Guoliang Li / Xuanhe Zhou / Fan Wu / Guangxu Cheng 等数据库圈,清华 + 腾讯) arXiv: https://arxiv.org/abs/2608.00650 标签: #VectorDB #OLAP #IVFPQ #DPPQ #Tencent #Systems 可信度: 高(清华 + 腾讯联合,Tsinghua DB Group 班底,arXiv 2026-08;Tencent 100 亿向量生产部署背书) 工程价值: ⭐⭐⭐⭐⭐
要点: - 核心创新: 将向量搜索提升为 OLAP 一等公民——把 IVFPQ 分解为关系算子,全局 segment-decoupled 索引物化为关系表,消灭 scatter-gather,避免 read/compute 放大 - DPPQ(Direction-aware Product Quantization with hierarchical residual refinement): 方向敏感量化 + 层级残差细化——方向量化把同类向量在 PQ 编码前先做对齐,残差用层级近似在 OLAP 调度里按需展开,避免一次性精排 - Index-aware 查询改写 + 分布式 cost model: 把索引信息直接喂给优化器做规划,把 segment skew、IVF 探针数、residual refine 深度都纳入代价评估 - 实验数据: - 相对 StarRocks 最高 145× 加速 - 腾讯生产部署(100 亿向量规模)52× 提升 - 主要问题(可信度注意事项): - 基线只对比 StarRocks,未对比 Milvus / Qdrant / Weaviate / pgvector / DuckDB vss / ClickHouse vector——"145×"峰值可能有基线选择偏向 - large-k 负载定义(k=10³–10⁵)缺少"join 后 vector top-k"和"filter 条件下的 vector top-k"两类混合负载数据点 - DPPQ 训练代价(离线/在线)未披露,100 亿向量重训代价不明 - Tencent 内部栈依赖,可迁移性待核实;无开源承诺
与 knowledge/database.md R-27 现有脉络的关系: R-27 §2.1"向量索引/ANN/Filtered + 工程化评测"已收录 Qdrant / Milvus / Weaviate / LanceDB / pgvector+pgvectorscale / Pinecone / ZeroDB / OceanBase SDK / seekdb 等完整选型矩阵。TEngineDB-V 是该节缺少的"OLAP 原生向量搜索"方向代表——它代表了"专用向量 DB → OLAP 引擎原生集成"这条与 Qdrant/Milvus 完全不同的路线。Tencent 100 亿向量 / 52× 提速的生产数字是该节缺少的最强生产规模锚点。§2.1 选型决策树可新增第 17 分支:"超大规模 analytical vector search(k=10³~10⁵,join/aggregation/filter 混合负载)→ TEngineDB-V 路线"。
建议归入节: §2.1 向量索引/ANN/Filtered + 工程化评测(新增 TEngineDB-V OLAP 原生向量搜索,作为"大 k analytical vector search"方向的工程化生产案例;补充 DPPQ 方向感知量化技术)
增量 2 · ⭐⭐⭐⭐ 中高 · arXiv:2608.00922 · DEFRAG:去中心化边缘协同 RAG(cs.DC)
来源: flyp/inbox/2026-08-04-1550-TEngineDB-V-and-DEFRAG-systems-critical-read.md(来源:arXiv 2608.00922,2026-08-02,15 页,cs.DC) arXiv: https://arxiv.org/abs/2608.00922 标签: #EdgeRAG #Decentralized #KG #SLM #CostReduction 可信度: 中(数字亮眼但对比基线有偏差;需设备清单和 KG 数据集开源才能外部复现) 工程价值: ⭐⭐⭐⭐
要点: - 核心创新: 去中心化 edge 协同 RAG——把 retrieval 和 generation 都拆分到异构 edge 设备,知识图谱(KG)压缩后分发到 edge;自适应查询优化器按 query 选 SLM + RAG 参数(top-k、context length、graph 深度) - 关键数据: - 相对中心化服务 cost ↓ 98.4% - peak throughput ↑ 97.8% - SLM-LLM 准确率差距明显收窄 - 方法: hybrid retrieval = KG path + dense retrieval 互补;adaptive optimizer 按 query budget(latency / energy / accuracy)做模型与参数选择
与 knowledge/database.md R-27 现有脉络的关系: R-27 §2.12"RAG 数据层载体范式迁移"已覆盖 Vectorless RAG / Agentic Search / A-RAG / SoK: Agentic RAG / RAG 500K 临界点等范式变迁。DEFRAG 是该节缺少的"去中心化 edge RAG"方向——它代表了一种新兴的"将向量 DB 功能分散到 edge 设备"的范式,与集中式向量 DB(RAG 500K 临界点警告形成对照)。但该方向尚处于早期(无开源承诺,无独立 benchmark 复现),可信度中等,需持续跟踪。
建议归入节: §2.12 RAG 数据层载体范式迁移(新增 DEFRAG 去中心化 edge RAG 作为新兴方向;补充说明该方向尚需独立 benchmark 复现核实)
增量 3 · ⭐⭐⭐ 中 · arXiv:2607.29606 · QASP:查询自适应的鲁棒向量搜索策略(cs.IR)
来源: jay/inbox/2026-08-04-1002-rss-cool-papers-ir.md(来源:Cool Papers RSS,arXiv 2607.29606,cs.IR) arXiv: https://papers.cool/arxiv/2607.29606 标签: #VectorSearch #Adaptive #Robust #ANN 可信度: 高(arXiv 公开,有系统性实验) 工程价值: ⭐⭐⭐
要点: - 核心问题: 向量搜索中固定搜索参数导致性能波动,实际生产中不同 query 最优参数差异显著 - 方法: QASP(Query-Adaptive Search Strategy)——查询自适应的鲁棒向量搜索策略,根据 query 特性动态选择最优搜索参数 - 目标: 在最小化计算开销的同时保持稳定的高召回率
与 knowledge/database.md R-27 现有脉络的关系: R-27 §2.1"向量索引/ANN/Filtered"已收录 Filtered ANN Benchmark(arXiv 2602.11443)中"pgvector 优化器在 ef_search>200 时绕道 Seq Scan + Sort"的工程化坑点。QASP 是该类问题的系统性学术解决方案——它补充了"参数自适应"这一工程化问题的理论框架,可以作为 §2.1 中"固定参数"陷阱的学术对应解法。
建议归入节: §2.1 向量索引/ANN/Filtered(新增 QASP 查询自适应鲁棒向量搜索,作为"固定参数陷阱"的系统性解法)
三、值得警惕的矛盾或待核实说法
| # | 说法 | 矛盾/风险 | 建议 |
|---|---|---|---|
| T1 | TEngineDB-V 相对 StarRocks 145× 加速 | 基线只对比 StarRocks,未对比 Qdrant / Milvus / Weaviate / pgvector / DuckDB vss / ClickHouse vector——145× 是"专用 OLAP 对比同类 OLAP"而非"向量系统对比通用向量 DB" | 引用时注明基线条件;等待更大基线覆盖的开源版或 v2 |
| T2 | TEngineDB-V 腾讯 100 亿向量生产 52× 提升 | 生产数字未披露具体指标(QPS / 延迟 / recall);Tencent 内部栈耦合,外部门难以独立核实 | 标注为"厂商背书,待独立 benchmark 核实" |
| T3 | DEFRAG cost ↓ 98.4% / throughput ↑ 97.8% | 对比基线是"中心化 LLM 服务",但 SLM 在 edge 本身就更便宜;真正公平对比应将 SLM 也放中心化;98.4% 反映的是"SLM vs LLM"成本差,而非"去中心化架构"优势 | 不在高可信度场景引用;需要$/1k queries 绝对成本曲线才能判断真实工程优势 |
| T4 | DEFRAG KG 压缩质量 | 摘要只说"compress and share",loss 信息损失、跨设备合并一致性均未量化 | 需读正文 §X 核验 KG 压缩损失数据 |
四、可引用 arXiv 号列表
| arXiv ID | 标题 | 会议/状态 | 主要关联节 |
|---|---|---|---|
| 2608.00650 | TEngineDB-V:面向大 k 工作负载的 OLAP 原生向量搜索系统(Tencent) | arXiv 2026-08 | §2.1 |
| 2608.00922 | DEFRAG:去中心化边缘协同 RAG | arXiv 2026-08 | §2.12(邻接,需独立核实) |
| 2607.29606 | QASP:查询自适应的鲁棒向量搜索策略 | arXiv 2026 | §2.1 |
| R-27 已收录本次未重复引用的 database 相关 arXiv | FlintKV (2607.02401) / Jailbreak (2607.07696) / Gen-DBA (2601.16409v2) / DIRT (2604.16373) / VikingMem (2605.29640v3) / pgvectorscale (无) / LanceDB (无) / OceanBase SDK (无) / seekdb (无) / ZeroDB (无) | 见 R-27 基线 | 全部已在 R-27 基线中收录,本简报不重复引用 |
五、结论与建议
本次预消化评估:低密度增量轮(3 条,1 条 5星 / 1 条 4星 / 1 条 3星,共 2 条新 arXiv)
本次 inbox 中 database 相关信号较为稀疏——前两日(8/2~8/3)大量增量(R-27 的 8 条)已在昨日预消化中完整覆盖;今日新增 paper_cards(IDs 700~719)零 database 主分类,database 邻接仅 2 张(均 rag 主分类)。
本日实质增量: 1. TEngineDB-V(⭐⭐⭐⭐⭐):Tencent OLAP 原生向量搜索,100 亿规模 52× 提速,DPPQ 方向感知量化——是本轮最重要的新条目,直接补强 §2.1 的"大 k analytical vector search"维度,但 145× 基线选择有偏向需注意 2. DEFRAG(⭐⭐⭐⭐):去中心化 edge RAG,98.4% 成本降低——数字亮眼但基线公平性存疑,建议低置信引用、持续跟踪 3. QASP(⭐⭐⭐):查询自适应鲁棒向量搜索——补充 §2.1"固定参数陷阱"的系统性学术解法
paper_cards 近 3 天零 database 主分类,database 邻接 2 张(rag 主分类),与 R-26/R-25 趋势一致——arXiv 新鲜供给相对低谷。
对活文档接力的建议:
- §2.1 补充 TEngineDB-V OLAP 原生向量搜索: 新增第 17 选型分支("大 k analytical vector search,k=10³~10⁵,join/aggregation 混合负载 → TEngineDB-V 路线");补充 DPPQ 方向感知量化技术说明;引用时注明基线条件
- §2.12 补充 DEFRAG 去中心化 edge RAG: 作为新兴方向归档,标注"基线公平性待核实,不建议高置信引用"
- §2.1 补充 QASP: 作为"固定参数陷阱"的系统性学术对应解法
六、附:检查过的 paper_cards 最新批次数据库逐卡确认
| ID | arXiv | 主分类 | TLDR 一行 | 是否 DB 相关 |
|---|---|---|---|---|
| 719 | 2608.00079 | multimodal | LeapTalk 单步 talking-head 生成 | ❌ |
| 718 | 2608.00799 | engineering | CADENA 步进式 CAD 重建 | ❌ |
| 717 | 2608.01185 | multimodal | 3DZip 3D VLM token 压缩 | ❌ |
| 716 | 2608.01735 | llm-infra | DAPD 双锚策略蒸馏 | ❌ |
| 715 | 2608.01628 | multimodal | Motion Beyond Morphology 运动迁移 | ❌ |
| 714 | 2608.01678 | agent | Skill-α 渐进式 Agent 技能生成 | ❌ |
| 713 | 2608.01964 | agent | LongHorizon-Harness 长时 Agent 状态管理 | ❌ |
| 712 | 2608.02583 | rag | UEmbed 统一稀疏+密集多模态嵌入 | ✅ 邻接 §2.1(向量搜索邻接) |
| 711 | 2607.26654 | risk | Constitutional Midtraining 对齐 | ❌ |
| 710 | 2607.27851 | agent | CSED 能力维持型情感对话 | ❌ |
| 709 | 2607.28229 | agent | EMBL AI Librarian 生命科学知识层 | ✅ 邻接 §2.2(知识库/检索邻接) |
| 708 | 2608.00650 | rag | TEngineDB-V OLAP 原生向量搜索 | ✅ ⭐ 主增量 §2.1 |
| 707 | 2608.00922 | rag | DEFRAG 去中心化边缘 RAG | ✅ 邻接 §2.12 |
| 706 | 2607.27201 | agent | Mental World Modeling 心理世界建模 | ❌ |
| 705 | 2607.26611 | evaluation | Fewer Clarifications 代码助手歧义 | ❌ |
| 704 | 2607.27888 | multimodal | Counterfactual Sensitivity Credit 重分配 | ❌ |
| 703 | 2607.26991 | multimodal | RL²-VLA 自适应视觉-语言-动作 | ❌ |
| 702 | 2607.29684 | multimodal | 暗光 RGB-NIR 3D 感知成像 | ❌ |
| 701 | 2607.29209 | llm-infra | SAF-OPD 稳定优势融合 | ❌ |
| 700 | 2607.18082 | llm-infra | Rubric-based RL 自蒸馏 | ❌ |
本简报由 Jay 实例自动生成 · 2026-08-04 20:20 · 仅作预消化草稿,待活文档接力时综合评估