Jay · 技术简报 · 2026-08-07

📋 本次主题

高频技术追踪：LLM Inference / Vector DB / RAG / Cloud-Native / Agentic AI

🔍 检索范围

  • arXiv (2025-2026 LLM Serving, Agentic Systems)
  • Semantic Scholar
  • GitHub Trending (ML Infra, AI Agent frameworks)
  • Tavily Web Search
  • Substack: Latent Space, Sebastian Raschka (Ahead of AI), Eugene Yan
  • CNCF / Kubernetes 官方生态

🏷️ DATABASE

高价值条目

1. pgvectorscale: PostgreSQL 向量搜索突破 50 亿级 QPS

  • 来源: FireCrawl / MarkTechPost 技术评测
  • 时间: 2026
  • 核心数据:
  • Timescale pgvectorscale 在 5000 万向量规模下达到 471 QPS @ 99% recall
  • 性能是 Qdrant 的 11.4 倍，p95 延迟比 Pinecone s1 低 28 倍
  • 关键技术: DiskANN + Statistical Binary Quantization，向量存磁盘而非全内存
  • 评价: ⭐⭐⭐⭐⭐ 工程意义极高——让已有 PostgreSQL 栈的团队无需引入新数据库即可获得生产级向量搜索能力。结合 pgvector 的广泛生态，2026 年 self-hosted RAG 首选方案。
  • 链接: https://www.firecrawl.dev/blog/best-vector-databases
  • 标签: vector-search postgresql production-ready RAG

2. 向量数据库 2026 全景对比 (MarkTechPost)

  • 来源: MarkTechPost, 2026-05-10
  • 内容: 9 大向量数据库完整评测，包含定价、规模上限、架构权衡
  • 亮点:
  • Pinecone Inference: 集成 embedding + reranking，单 API 完成全流程
  • Weaviate: 原生 BM25 + dense vector 混合搜索，多模态支持 (text/image/audio)
  • Atlas Vector Search: Search Nodes 独立扩展，读写分离适合读密集型 RAG
  • Chroma (2026): S3/GCS 对象存储后端 + 查询感知分层，冷命名空间不再占 RAM，支持 collection fork
  • 链接: https://www.marktechpost.com/2026/05/10/best-vector-databases-in-2026-pricing-scale-limits-and-architecture-tradeoffs-across-nine-leading-systems/amp
  • 标签: vector-db comparative-analysis production-systems

3. ClickHouse 25.8 内置向量搜索 (OLAP + Vector Fusion)

  • 来源: Tinybird Blog, 2026
  • 核心: ClickHouse 在 25.8 版本实现生产级向量相似度搜索，可在分析引擎内直接 join embedding 向量与业务数据（如销售额）
  • 意义: 消除独立向量数据库需求，HTAP 场景下单一引擎同时支持 OLAP 分析 + 向量检索
  • 链接: https://www.tinybird.co/blog/best-database-for-olap
  • 标签: OLAP vector-search HTAP clickhouse
  • 来源: MarkTechPost / MongoDB 官方
  • 技术: Search Nodes 支持向量搜索工作负载从事务集群独立扩缩，适合读密集型 RAG 应用；集成 LangChain、LlamaIndex、Microsoft Semantic Kernel
  • 亮点: Automated Embedding 功能（Voyage AI 驱动）实现一键语义搜索，无需编写 embedding 代码
  • 标签: mongodb vector-search managed-service

⚙️ BACKEND

高价值条目

1. [arXiv] Position: LLM Serving Needs Mathematical Optimization (ICML 2026)

  • 来源: arXiv:2605.01280, 2026-05
  • 核心论点: LLM 推理服务已超出通用启发式方法的适用范围，需要严格的数学优化和算法基础。现有系统多用 join-shortest-queue 路由、FIFO 调度、LRU 缓存——这些忽略了 prefill-decode 非对称性、动态内存增长、输出长度不确定性等 LLM 特有结构。
  • 理论贡献: 提供了有保障的最坏情况性能分析框架，在对抗性请求序列下仍能将不平衡度降低 Ω(√(B log G)) 因子
  • 评价: ⭐⭐⭐⭐⭐ 方向性论文，对理解 LLM Serving 系统设计原则有重要价值
  • 链接: https://arxiv.org/html/2605.01280v1
  • 标签: LLM-serving optimization-theory scheduling ICML-2026

2. [arXiv] Festina: Energy-Aware Serverless LLM Serving (基于 vLLM)

  • 来源: arXiv:2606.30391, 2026
  • 核心: 基于 vLLM 实现无服务器 LLM 推理的能耗感知调度，节省最高 56% 能量同时保持 SLO。10,000 张 H100 GPU 集群每月可节省约 280 万度电。
  • 实现: ~2800 行 Python + CUDA/C++ 代码，asyncio 高并发调度器
  • 意义: GPU 功耗优化在大型 AI 云时代的重要性急剧上升，H100 可配置至 700W TDP
  • 链接: https://arxiv.org/html/2606.30391v1
  • 标签: LLM-serving energy-efficiency serverless vLLM

3. [arXiv] Multi-stage Flow Scheduling for LLM Serving

  • 来源: arXiv:2603.17456, 2026
  • 核心: 针对 prefill-decode 分布式架构中的多阶段通信（collective communication + KV-cache transfer）进行联合调度优化，目标是最大化 TTFT SLO 达成率
  • 问题: 现有方案分别优化单个阶段，但组合时可能加剧网络争用
  • 方法: 整体视角调度通信，而非孤立的阶段优化
  • 链接: https://arxiv.org/html/2603.17456v1
  • 标签: LLM-serving distributed scheduling KV-cache

4. [arXiv] Uncertainty-Aware Output Length Prediction for LLM Scheduling

  • 来源: arXiv:2604.00499, 武汉大学 + Dameng DB, 2026
  • 核心: 现有系统用点估计预测输出长度，但 LLM 解码本质是随机过程（每步按概率采样 EOS），输出长度天然不确定
  • 方法: 预测输出长度分布（log-t 分布拟合），实现不确定性感知的调度
  • 链接: https://arxiv.org/pdf/2604.00499
  • 标签: LLM-serving scheduling uncertainty prediction

5. [arXiv] Fluid-Guided Online Scheduling (KV Cache Eviction Optimization)

  • 来源: arXiv:2504.11320 (v4)
  • 核心: vLLM 默认策略下 KV cache 超内存时触发 recomputation，导致"驱逐循环"——被重启的请求重新占内存并可能触发更多驱逐
  • 方法: Fluid-guided 调度最小化驱逐率，基于 A100 80GB、LLaMA-2-7B 的 Vidur 模拟器验证
  • 链接: https://arxiv.org/html/2504.11320v4
  • 标签: LLM-serving KV-cache scheduling vLLM

6. [arXiv] Pythia: Exploiting Workflow Predictability for Agent-Native LLM Serving

  • 来源: arXiv:2604.25899, 2026
  • 核心: 80%+ 的 agent 请求来自多步骤 ReAct 工作流，具有可预测的重复前缀（prefix cache 复用机会）
  • 创新点: 利用工作流可预测性进行 agent 原生服务优化，超越传统 single-request 视角
  • 对比系统: Continuum (cross-step prefix cache), ThunderAgent (program-aware scheduling), SGLang
  • 链接: https://arxiv.org/html/2604.25899v1
  • 标签: LLM-serving agentic prefix-cache workflow

7. [ICLR 2026] In-Flow Agentic System Optimization (AgentFlow)

  • 来源: Lambda.ai, 2026
  • 核心: Flow-GRPO 方法将长轨迹优化分解为单步更新，group-normalized advantages 保证稳定性
  • 成果: 7B 参数 AgentFlow 在搜索/数学/科学推理任务上 超越 GPT-4o
  • 意义: 开源模型通过 agent 优化框架可达前沿闭源模型水平
  • 链接: https://lambda.ai/blog/iclr-2026-12-papers
  • 标签: agentic-AI RL agent-optimization ICLR-2026

☁️ CLOUD-NATIVE

高价值条目

1. KubeCon + CloudNativeCon Japan 2026 (KubeCon 2026)

  • 来源: CNCF, 2026-07-28~30, 横滨
  • 背景: CNCF + SlashData 联合报告显示云原生开发者已达 1560 万，98% 组织使用容器技术
  • 2026 关键趋势:
  • AI/ML 工作负载成为 K8s 主导用例：GPU 调度、模型服务化
  • Ingress NGINX Controller 社区版 2026 年 3 月正式退役，全面迁移至 Gateway API
  • KubeVirt 爆发期：VM 与 Pod 统一管理，降低遗留应用迁移成本
  • Zero Trust 安全 + eBPF 革命：运行时安全检测成标配
  • FinOps 深入：Kubecost 等成本可视化工具集成到 K8s 平台
  • CNCF 生态: OpenTelemetry 快速上升，成为分布式 AI 系统的可观测性基础设施
  • 链接: https://www.cncf.io/announcements/2025/11/11/cncf-and-slashdata-survey-finds-cloud-native-ecosystem-surges-to-15-6m-developers
  • 标签: kubernetes cloud-native KubeCon-2026 CNCF

2. Kubernetes 2026 安全趋势

  • 来源: Gartner / Gart, 2026
  • 关键数据:
  • 45% 漏洞在构建/部署阶段引入（runtime 49%）
  • 45% 响应者承认经历过配置错误事故
  • 42% 发现过重大漏洞（安全测试不足）
  • 趋势: K8s 平台将内置安全工具并默认启用，平台工程成为 Kubernetes 管理核心
  • 链接: https://gartsolutions.com/kubernetes-and-containerization-trends
  • 标签: kubernetes security FinOps platform-engineering

3. 云原生数据库 K8s 部署实证研究

  • 来源: MDPI Computers, 2026, Vol.15 No.5
  • 论文: "Empirical Performance and Operational Analysis of Monolithic and Distributed Database Architectures in Kubernetes Environments"
  • 结论: 最优架构取决于工作负载特性和运维需求，混合架构（在 K8s 上同时运行单体和分布式 DB）在现代云原生环境中具有实践价值
  • 链接: https://www.mdpi.com/2073-431X/15/5/282
  • 标签: kubernetes database empirical-study cloud-native

📚 RAG & MULTIMODAL

高价值条目

1. [Survey] Scaling Beyond Context: Multimodal RAG for Document Understanding

  • 来源: arXiv:2510.15253v2
  • 核心: 综述多模态 RAG 在文档理解领域的进展，覆盖金融（MultiFinRAG、FinRAGBench-V）、科研（HiPerRAG、CollEX）、社会科学等场景
  • 检索模态演进: 从早期纯文本检索 → 页面图像 + VLM 编码 → 混合设计（图像 + OCR + MLLM 生成注释）
  • 典型应用: 财务问答、表格 + 图表 + 文本联合建模、长文档视觉引用（visual citation）
  • 链接: https://arxiv.org/html/2510.15253v2
  • 标签: multimodal-RAG document-understanding survey

2. 20 种高级 RAG 类型 (Turing Post, 2026)

  • 来源: Turing Post, 2026-05-29
  • 覆盖: Agentic RAG, MiA-RAG, HGMem, Graph-O1, Bidirectional RAG, multimodal RAG, multilingual RAG, structured RAG, security RAG
  • 核心洞察: 2026 年 RAG 已从简单 vector search + LLM 演进为长文档记忆、自适应检索、多模态 grounding、图推理、安全治理的综合系统
  • 链接: https://www.turingpost.com/p/ragtypes
  • 标签: RAG advanced-patterns agentic-RAG

3. [MDPI 2026] RAG + LLM 企业知识管理系统综述

  • 来源: Applied Sciences, Vol.16 No.1, 2026
  • 论文: "Retrieval-Augmented Generation (RAG) and Large Language Models (LLMs) for Enterprise Knowledge Management and Document Automation: A Systematic Literature Review"
  • 作者: Karakurt & Akbulut
  • 链接: https://www.mdpi.com/2076-3417/16/1/368
  • 标签: RAG enterprise systematic-review

4. Aishwarya Srinivasan: All You Need to Know About RAG in 2026 (Substack)

  • 来源: AI with Aish (Substack, 付费内容摘要)
  • 核心:
  • Naive RAG 危机: GPT-5.4 / Claude 4.6 时代 bi-encoder embedding 的精确性不足（"2024" vs "2025" 语义距离对 LLM 而言可忽略）
  • Re-Ranking 是生产 RAG 的"秘密酱": Cross-encoder 精排
  • 混合搜索 + Reciprocal Rank Fusion: BM25 + vector 的互补优势
  • 运营经济性: RAG vs 长上下文（Gemini 3.1 的 2M+ 窗口）的成本权衡
  • 链接: https://aishwaryasrinivasan.substack.com/p/all-you-need-to-know-about-rag-in
  • 标签: RAG production chunking re-ranking hybrid-search substack

🤖 AGENTIC AI

高价值条目

1. [arXiv] Agentic AI: Architectures, Taxonomies (2026)

  • 来源: arXiv:2601.12560v1
  • 核心: 提出统一分类法，将 Agent 分解为 Perception、Brain、Planning、Action、Tool Use、Memory 六大模块
  • 关键观察: 从单 agent loop 到层级多 agent 系统的演进路径；传统 Agentic AI 忽略多 agent 协调机制（激励结构、博弈）
  • 风险警示: prompt injection、action 层面的 hallucination
  • 链接: https://arxiv.org/html/2601.12560v1
  • 标签: agentic-AI taxonomy architecture LLM-agent

2. [arXiv] Agentifying Agentic AI (WMAC 2026)

  • 来源: arXiv:2511.17332v2
  • 核心论点: 当前 Agentic AI 系统多以单 agent 为导向，忽视多 agent 协调中的激励平衡、目标冲突等问题
  • 借鉴: AAMAS（自主 Agent 与多 Agent 系统）社区数十年的研究成果：BDI 架构、通信协议、机制设计、制度建模
  • 建议: 将结构化推理/协调模型与自适应数据驱动方法结合，构建透明、可合作、可问责的 Agentic 系统
  • 链接: https://arxiv.org/html/2511.17332v2
  • 标签: agentic-AI multi-agent coordination AAMAS

3. [arXiv] The Attack and Defense Landscape of Agentic AI

  • 来源: arXiv:2603.11088v1
  • 核心: 系统化梳理 Agentic AI 攻击面（prompt injection、tool poisoning、memory corruption）与防御机制（privilege separation、sandboxing、containerization）
  • 重点: LLM 可分离为 planning/tool-calling 和 result-processing，防止工具结果直接污染 planning 决策
  • 链接: https://arxiv.org/html/2603.11088v1
  • 标签: agentic-AI security prompt-injection defense

4. [arXiv] The Auton Agentic AI Framework: Declarative Architecture

  • 来源: arXiv:2602.23720v1
  • 核心问题: LLM 输出是随机的非结构化文本，后端基础设施（DB、API、云服务）需要确定性的、符合 schema 的输入——两者之间存在根本性架构错配
  • 解决方案: Cognitive Blueprint（声明式语言无关规范）+ 严格权限分离的运行时执行层
  • 链接: https://arxiv.org/html/2602.23720v1
  • 标签: agentic-AI framework declarative architecture

5. [Red Hat] MCP (Model Context Protocol) 快速崛起

  • 来源: Red Hat AI Resources, 2026
  • 背景: MCP 是 AI agents 与外部工具/数据/内存交互的开放标准，类似于 AI 领域的"USB 接口"
  • 现状: 尽管刚推出，快速成为 Agentic AI 基础设施标准
  • 链接: https://www.redhat.com/en/resources/ai-agentic-systems-ebook
  • 标签: agentic-AI MCP standardization tool-use

高价值条目

1. Bifrost — Go 实现的高性能 LLM Gateway (⭐1,922)

  • 来源: GitHub, maximhq/bifrost, Apache-2.0
  • 数据: 比 LiteLLM 快 50 倍，支持 1000+ 模型，sub-100µs 开销
  • 功能: adaptive load balancing, cluster mode, guardrails
  • 意义: Go 在 AI infrastructure 领域持续扩展版图
  • 链接: https://github.com/maximhq/bifrost
  • 标签: LLM-gateway Go infrastructure load-balancing

2. Orama — 浏览器/边缘的完整搜索引擎 (<2KB)

  • 来源: GitHub, oramasearch/orama, ⭐ 10.5k
  • 支持: full-text + vector + hybrid search，可在浏览器、服务器、边缘运行
  • TypeScript 原生
  • 链接: https://github.com/oramasearch/orama
  • 标签: search-engine edge-computing typescript vector-search

3. Vector-admin — 向量数据库通用管理面板

  • 来源: GitHub, Mintplex-Labs/vector-admin, ⭐ 2.2k
  • 支持: Pinecone, Chroma, Qdrant, Weaviate, Milvus, pgvector 等主流向量数据库统一管理
  • 链接: https://github.com/Mintplex-Labs/vector-admin
  • 标签: vector-db admin-tool multi-backend

4. LLM-inference-optimization-paper 论文列表

  • 来源: GitHub, chenhongyu2048/LLM-inference-optimization-paper
  • 内容: 持续更新的 LLM 推理优化论文列表，包含:
  • Synera (device-cloud synergistic serving)
  • Laser (layer-level scheduling, PPoPP'26)
  • ChituDiffusion (diffusion model serving, PPoPP'26)
  • FlashInfer (attention kernel library)
  • ByteDance 云原生 LLM 推理特征分析 (HPCA'26)
  • 链接: https://github.com/chenhongyu2048/LLM-inference-optimization-paper
  • 标签: LLM-serving paper-list resources

📝 SUBSTACK 技术洞察

高价值条目

1. Sebastian Raschka: Ahead of AI — LLM Research Papers 2026 (Jan-May)

  • 来源: magazine.sebastianraschka.com, 2026
  • 亮点:
  • 混合架构趋势: Nemotron-3 (NVIDIA), Qwen3.6 (Gated DeltaNet), Mamba-3
  • 架构超越 scale: 2026 年不再是简单把 Transformer 做大，hybrid attention + state space layers 成为主流
  • MiniMax-M2 系列: 论文记录稀疏但推理效率突出
  • 方向: 推理效率、KV Cache 优化、长上下文、稀疏注意力、Test-time compute
  • 链接: https://magazine.sebastianraschka.com/p/llm-research-papers-2026-part1
  • 标签: LLM-architecture research-overview hybrid-model substack

2. Addy Osmani: My LLM Coding Workflow in 2026

  • 来源: addyo.substack.com
  • 核心观点:
  • AI-native 软件工程 = 在 AI 辅助下以更高抽象层级工作
  • LLM "奖励已有最佳实践"：写规格文档、测试、代码审查的价值在 AI 时代进一步放大
  • 规划阶段（specs before code）是 AI 协作质量的关键
  • 意义: 对 AI 工程实践有参考价值
  • 链接: https://addyo.substack.com/p/my-llm-coding-workflow-going-into
  • 标签: AI-engineering prompting best-practices substack

3. Latent Space — AI 工程标准读物

  • 来源: latent.space (swyx & Alessio Fanelli)
  • 定位: AI 工程周刊，记录 AI Engineer 群体崛起、原创框架
  • 标签: AI-engineering podcast newsletter

📊 分类标签汇总

database: vector-search, OLAP, HTAP, PostgreSQL, clickhouse, mongodb
backend: LLM-serving, KV-cache, scheduling, energy-efficiency, vLLM, inference-optimization
cloud-native: kubernetes, security, FinOps, platform-engineering, KubeCon-2026, CNCF
rag: multimodal-RAG, production-RAG, re-ranking, hybrid-search, chunking, graph-RAG
agentic: agent-architecture, MCP, security, multi-agent, RL-optimization
github: LLM-gateway, vector-admin, orama, inference-paper-list
substack: Sebastian-Raschka, Latent-Space, Eugene-Yan, AI-with-Aish

✅ 建议写入路径

/shared/research-kb/inbox/jay/2026-08-07-tech-briefing.md

🔬 后续行动建议

需精读 (Priority: High)

  1. [arXiv:2605.01280] LLM Serving Needs Mathematical Optimization — 方向性论文，理解理论框架
  2. [arXiv:2606.30391] Festina 节能调度 — 工业级落地，有具体 energy savings 数据
  3. [arXiv:2510.15253v2] Multimodal RAG Survey — 综述全面，适合建立知识体系
  4. pgvectorscale 技术细节 — 工程团队实际落地参考

需审稿 (Priority: Medium)

  1. RAG 2026 演进路线图（20 种高级 RAG 类型）— 需核实论文出处
  2. Festina 实现细节（vLLM 集成方式）

主题页更新建议

  1. LLM Serving 主题页 — 新增 Festina、Pythia、Multi-stage Flow Scheduling
  2. Vector Database 主题页 — 更新 pgvectorscale 性能数据、ClickHouse 内置向量搜索
  3. Agentic AI 主题页 — 新增 Auton Framework、Attack/Defense Landscape

Jay · 自动生成 · 2026-08-07 · 基于 Tavily/arxiv/GitHub/Substack 公开检索