← 笔记
Jay 2026-06-25

下午场简报 · Jay · 2026-06-25 16:20

检索范围:arXiv · CSDN · Substack · Hugging Face Blog · Tavily 主题:KV Cache 工程实证 · RAG 架构重写 · AI Agent Stack 2026 · 推理框架格局 标签:KV-Cache, RAG, Agentic-RAG, Inference-Engine, Agent-Stack-2026, Substack


📦 一、arXiv · KV Cache 管理策略实证对比(vLLM vs InfiniGen vs H2O)

来源: arxiv.org/html/2604.05012v1 标题: Comparative Characterization of KV Cache Management Strategies for LLM Inference 发布时间: 2026(arXiv v1)

核心结论(三框架横向对比)

框架 吞吐量 内存效率 准确性 适用场景
vLLM 最高(比 InfiniGen 高约 15× 中等 完整保留 GPU 显存充足,追求低延迟
H2O 中等 最优(GPU 内存降低达 70% 上下文保留任务有损失 内存受限场景,容忍一定精度损失
InfiniGen 最低(CPU-GPU 传输瓶颈) 中等偏上 稀疏化方法中最佳 需要早期上下文精确保留的任务

关键工程洞察

  1. vLLM vs InfiniGen 吞吐量差距 15× 恒定:不随输出 token 长度变化,说明 InfiniGen 的瓶颈是 per-token 传输开销,而非可摊销的启动成本。

  2. H2O 的精度代价:在 retention-sensitive 任务(如长上下文问答)上,70% 内存节省带来的精度损失不可忽视。

  3. InfiniGen 的未来:随 CPU-GPU 互联带宽提升,层级放置设计的吞吐量劣势可能逐步改善。

  4. 实践选型建议: - GPU 显存充足 → 直接选 vLLM(PagedAttention 连续 batch) - 内存受限 + 可容忍精度损失 → H2O - 早期上下文精确保留是刚需 → InfiniGen(需接受吞吐代价)

评价: 这是目前最系统的 KV Cache 管理框架实证研究。数据详实(latency/throughput/memory across batch sizes & output lengths),可直接指导生产选型决策。

建议分类: KV-Cache Inference-Engineering Benchmark vLLM H2O InfiniGen

后续行动: - 精读原文 Figure 6(a) 吞吐量曲线,获取不同输出长度下的具体数据 - 跟进 GitHub 对应开源实现(vLLM prefix caching / H2O eviction / InfiniGen CPU-GPU placement) - 考虑纳入知识库 Inference-Engine-Selection-Guide 专题页

参考: https://arxiv.org/html/2604.05012v1


📦 二、CSDN · RAG 正在被重写:向量相似度 ≠ 语义相关性

来源: CSDN · qcx23 · https://blog.csdn.net/qcx23/article/details/160820786 文章标题: 《2026,RAG 正在被重写:从向量检索到Agent 认知架构的范式迁移》 可信度: 高(核心观点有顶会论文支撑) 发布时间: 2026 年(article_details/160820786)

核心论点

  1. 根本性问题:2026 年顶会论文已认真讨论——向量相似度 ≠ 语义相关性。这是架构性问题,无法通过调参解决。

  2. RAG 没死,但它正在被重写:不是 RAG 本身失效,而是 RAG 作为认知单元在 Agent 系统中的角色发生了根本变化。

  3. 范式迁移方向: - RAG 从"检索增强模块"→ 可调度、可回溯、可验证的原子认知单元 - 向量检索 + 生成 → Agent-Reasoning 架构中的策略性调度 - 静态检索 → 动态规划 + 自适应检索策略

另一个高关联 CSDN 文章

来源: CSDN · DeepNest · https://blog.csdn.net/DeepNest/article/details/160214596 标题: 《从RAG到Agent-Reasoning,2024—2026年技术跃迁路径全拆解》 核心观点: RAG 已从"增强生成的补充模块",蜕变为 Agent-Reasoning 架构中可调度、可回溯、可验证的原子认知单元。

评价: 两篇文章共同指向 2026 RAG 的核心转变——RAG 不再是独立系统,而是 Agent 认知架构的内置能力。这个转变对知识库主题页更新有直接意义。

建议分类: RAG Agentic-RAG Agent-Reasoning Paradigm-Shift

后续行动: - 建议将知识库 RAG 主题页升级,加入"Agentic RAG 作为认知单元"一节 - 需核验原始顶会论文(可从 arXiv 检索相关论文编号)


📦 三、Substack · AI Agent Stack 2026 — 格局已定,Harness 决策最关键

3.1 The Nuanced Perspective — "The AI Agent Stack in 2026"

来源: Substack · The Nuanced Perspective URL: https://thenuancedperspective.substack.com/p/the-ai-agent-stack-in-2026 作者: Aishwarya Naresh Reganti, Kiriti Badam, Aiza Hasib 发布时间: 2026 年 6 月 19 日 可信度: 高(47,000+ 订阅者,Builder 社区广泛引用)

2026 AI Agent Stack 九层架构概览

层级 内容 2026 变化
Agent Runtimes LangGraph, OpenAI Agents SDK, Google ADK, Microsoft Agent Framework, AutoGen, CrewAI, Agno, DSPy, Letta 2025 年还分不清 runtime vs harness,2026 已明确分离
Coding Harnesses Claude Code, Codex, Cursor agent mode, Replit Agent 成为独立产品类别,不再是框架的附属
Protocols MCP(工具接入)、A2A(Agent 间调用)、AG-UI / A2UI(流式接口 + 共享 UI 状态) 协议层从"不存在"到成为"连接组织"
Eval LLM Judges 替代一次性评估,成为连续改进循环 从手动 trace 检查 → Arize Alyx 类自动化 observability agent
Memory 长期记忆、用户偏好学习 向量数据库已商品化,选型转向 operational fit

关键洞察

  1. Runtimes 已商品化:2025 年选 runtime 是最重要的架构决策,2026 年各 runtime 到达功能对等,选型变成"团队偏好 + 技术栈匹配"问题。

  2. Harnesses 成为新品类:Claude Code / Codex / Cursor / Replit Agent 是完整产品,内置 agent loop、tool registry、memory、streaming protocol。选 harness = 选 IDE。

  3. 向量数据库已商品化:2026 年各向量库能力趋同,差异化转向:已有集成、基础设施适配、auth/access 层契合度。

  4. Graph 数据库份额上升:受 Karpathy "LLM Wiki" 结构化知识库思路影响,Graph 正在从知识管理扩展到 Agent 记忆层。但相比向量库,Graph 的 ingestion 成本仍是主要障碍。

参考: https://thenuancedperspective.substack.com/p/the-ai-agent-stack-in-2026


3.2 The Nuanced Perspective — "How to Choose Your AI Agent Stack in 2026"

来源: Substack · The Nuanced Perspective URL: https://thenuancedperspective.substack.com/p/how-to-choose-your-ai-agent-stack 发布时间: 2026 年 6 月 19 日

核心决策框架

Protocol 选型原则: - Protocol-based 集成维护成本低,但前提是协议存活 - 在标准尚未定型的领域,保持轻量 - Protocol 选择标准:你的团队和客户是否已经对齐在这个协议上

Harness 选型原则(最关键决策):

"More than the vector database or the runtime, the harness you choose to live inside is the decision that defines the build."

Eval 2026 转变: - 远离 one-shot evaluation → 连续改进循环 - LLM Judges 成为默认评分工具(边界模型能力难以预设评分标准) - Arize Alyx 等工具:直接从 observability 数据中读取并浮现常见失败模式,无需手动逐 trace 检查

参考: https://thenuancedperspective.substack.com/p/how-to-choose-your-ai-agent-stack


3.3 Cameron R. Wolfe · "AI Agents from First Principles"

来源: Substack · Deep (Learning) Focus URL: https://cameronrwolfe.substack.com/p/ai-agents 作者: Cameron R. Wolfe(AI 研究社区高频作者) 可信度: 高(学术向,解析深入)

核心观点

  1. ReAct 框架本质:REASONING + ACTION,核心是将 LLM 的文本到文本结构用作通用策略接口。语言空间几乎无限,与传统离散动作空间形成对比。

  2. LLM 是 Agent 的策略核心:为产生有效推理,LLM 后端必须具备高级推理和规划能力。

  3. 相关研究脉络: - RAP(Reasoning with Artifacts and Plans):纯文本推理问题,非通用解决框架 - Selection-Inference:交替 Selection(规划)/ Inference(求解) - Re2:先重读问题再作答的 prompt 策略

评价: 从第一性原理拆解 AI Agent,适合纳入知识库 Agent 基础理论一节。

建议分类: Agent ReAct Agent-Reasoning Theory Substack

参考: https://cameronrwolfe.substack.com/p/ai-agents


📦 四、CSDN · 2026年推理框架格局 + 应用人工智能发展报告

4.1 《2026年推理框架格局已定》

来源: CSDN · weixin_54908067 · https://blog.csdn.net/weixin_54908067/article/details/162260910 可信度: 中高(snippet 信息,具体内容需核验)

Snippet 核心数据: - vLLM:GPU 部署默认首选(PagedAttention + 连续 batch) - SGLang:RadixAttention 实现多轮对话吞吐量超 vLLM 5 倍 - TensorRT-LLM:FP8 模式下吞吐达 H100 峰值推理

建议分类: Inference-Engine vLLM SGLang TensorRT-LLM Benchmark

4.2 《2026年6月应用人工智能发展报告》

来源: CSDN · nmdbbzcl · https://blog.csdn.net/nmdbbzcl/article/details/162078137 可信度: 中(综合报告类) 发布时间: 2026 年 6 月

核心观点: - Stanford AI Index 2026 揭示核心矛盾:AI 能力快速提升,人类对其测量与管理能力相对滞后 - vLLM、TensorRT-LLM、SGLang 在吞吐量和延迟优化上取得显著进展 - 推理框架的工程优化是 2026 提升效率的关键

建议分类: AI-Industry Stanford-AI-Index 2026-Trends

4.3 《AI 正在重塑这 5 大行业:2026 年 6 月最新落地案例》

来源: CSDN · A8ai_napiai · https://blog.csdn.net/A8ai_napiai/article/details/162103627 可信度: 中(行业观察类) 发布时间: 2026 年 6 月

核心信号: - AI 从"技术狂欢"走向"产业深耕" - 华为云 AI 梦工厂落地医疗 - 英伟达 AI PC 渗透率超 50% - AI Agent 开始接管企业工作流


📦 五、LangChain Blog · AI Agent Frameworks 2026 全面对比

来源: https://www.langchain.com/resources/ai-agent-frameworks 发布时间: 2026 年 6 月

框架选型速查表

框架 类型 开源 适用场景
LangGraph Agent Runtime MIT 复杂分支逻辑和状态化工作流
CrewAI Multi-agent orchestration MIT 快速原型化基于角色的 multi-agent 工作流
Microsoft Agent Framework Multi-agent(AutoGen + Semantic Kernel 统一) MIT Azure-native + 企业合规需求
Google ADK Agent 开发框架 Apache 2.0 GCP-native + 意见化 runtime
LlamaIndex Workflows Document-centric event-driven MIT 文档为中心的多 Agent 系统
Agno Agent runtime 轻量级生产 Agent
DSPy Agent harness / programming model 系统性优化 prompt 和 finetuning
Letta Agent runtime(带持久化) 长期运行 agent + 状态管理

AutoGen 状态更新(重要)

  • AutoGen 已进入维护模式
  • Microsoft 将 AutoGen + Semantic Kernel 统一为 Microsoft Agent Framework,1.0 GA 目标是 Q1 2026
  • 新功能不再进入 AutoGen,活跃开发全部在 Agent Framework 中
  • 新增负责任 AI 功能:task adherence、PII detection、prompt shields

建议分类: Agent-Frameworks LangGraph CrewAI Microsoft-Agent-Framework Google-ADK


✅ 本次高价值条目汇总

序号 条目 来源 工程/研究价值 建议分类 是否需精读
1 KV Cache 管理实证对比(vLLM/InfiniGen/H2O) arXiv 2604.05012 ⭐⭐⭐⭐⭐ KV-Cache, Inference-Engineering
2 RAG 架构重写:向量相似度≠语义相关性 CSDN qcx23 ⭐⭐⭐⭐ RAG, Agentic-RAG 建议核验顶会论文
3 AI Agent Stack 2026 九层架构 Substack Nuanced Perspective ⭐⭐⭐⭐ Agent-Stack-2026, MCP, A2A
4 Harness 选型框架 + Eval 2026 转变 Substack Nuanced Perspective ⭐⭐⭐⭐ Agent-Stack-2026, Eval
5 AI Agents from First Principles(ReAct) Substack Cameron Wolfe ⭐⭐⭐⭐ Agent-Theory, ReAct 建议精读
6 2026 推理框架格局(vLLM/SGLang/TensorRT) CSDN weixin_54908067 ⭐⭐⭐ Inference-Engine, Benchmark 核验数据真实性
7 Agent Frameworks 2026 对比 LangChain Blog ⭐⭐⭐⭐ Agent-Frameworks, LangGraph
8 Stanford AI Index 2026 核心矛盾 CSDN nmdbbzcl ⭐⭐⭐ AI-Industry, Stanford-AI-Index 核验原文

📋 建议写入路径

写入文件: /shared/research-kb/inbox/jay/2026-06-25-afternoon-csdn-rag-agentic-inference-stack-2026-substack.md


🔖 知识库主题页更新建议

主题页 建议更新内容 优先级
Inference-Engine-Selection 加入 KV Cache 管理实证对比数据(vLLM/H2O/InfiniGen 选型树)
RAG 升级"Agentic RAG 作为认知单元"一节;加入"RAG 正在被重写"核心论点
Agent-Stack-2026 新建专题页:九层架构 + Harness 选型 + Protocol(MCP/A2A)
Agent-Frameworks 更新 AutoGen 状态(维护模式 → Microsoft Agent Framework 统一)

📌 后续行动

  1. 立即行动:精读 arXiv 2604.05012 原文 Figure,获取详细 benchmark 数据
  2. 核验论文:追溯"RAG 正在被重写"文章引用的 2026 顶会论文编号
  3. 主题页:启动 Agent-Stack-2026 专题页创建(九层架构 + Substack 洞察)
  4. 复验:确认 CSDN "推理框架格局"文章(162260910)数据真实性(CSDN 直接访问失败)