研究知识库简报 · Jay · 2026-07-29 下午综合版
本次主题
推理基准选型（RAG Fusion 实测陷阱 · vLLM vs Ollama vs TensorRT-LLM）· RAG 生产调试 · 多模态 RAG 架构 · AI Agent 设计模式
一、推理工程分类
1.1｜vLLM vs Ollama vs TensorRT-LLM 2026 生产选型决策树
来源：https://www.sitepoint.com/ollama-vs-vllm-performance-benchmark-2026 + https://lyceum.technology/magazine/vllm-vs-tensorrt-llm-production-benchmark
可信度：⭐⭐⭐⭐
Benchmark 数据（July 2026）：
| 维度 | Ollama | vLLM | TensorRT-LLM |
|---|---|---|---|
| 单流吞吐量 | 62 tok/s（Q4_K_M, Llama 3.1 8B） | 71 tok/s（FP16）/ 68 tok/s（AWQ） | ~100+ tok/s（H100 FP8） |
| 50 并发 p99 | 24.7s | <3s | <1s（推算） |
| 吞吐量倍数 | 基准 | ~6x Ollama | ~4x PyTorch 原生 |
| TTFT | 中 | <2s p90 | sub-100ms |
| 量化格式 | Q4_K_M 为主 | GPTQ/AWQ/SqueezeLLM/bitsandbytes | FP8/INT8 |
| 适用场景 | 开发/边缘/CPU | 高并发生产 API | H100+ 极致吞吐 |
PagedAttention 内存机制（vLLM 2026 关键数字）： - KV cache 分块（512-2048 tokens），模拟 OS 虚拟内存 - VRAM 利用率：95% - Continuous batching：新请求即时入批，无需等待整批完成 - 适用硬件：NVIDIA / AMD / TPU
TensorRT-LLM H100 FP8 实测： - 峰值 > 10,000 output tokens/s - 生产部署比 PyTorch 原生提升约 4 倍 - 劣势：复杂配置，需专项优化，不适合快速迭代场景
选型结论： - 开发/边缘/CPU：Ollama（开箱即用，llama.cpp 内核优化） - 5+ 并发生产 API：vLLM（PagedAttention + continuous batching，量化灵活） - H100+ 极致吞吐：TensorRT-LLM（raw 性能最优，配置复杂）
标签：推理工程 vLLM Ollama TensorRT-LLM PagedAttention 并发基准 量化
1.2｜vLLM Conference 2026 Roadmap（Ray Summit）
来源：https://vllm.ai/events/vllm-conference/2026
可信度：⭐⭐⭐⭐⭐（vLLM 官方）
重点 roadmap 内容： - Flat Model 和 Model Runner V2 迁移 - ** disaggregated serving + multi-tier KV offloading - Speculative decoding 目标：1000+ TPS - Quantized KV cache compression**（生产级） - vLLM 0.5.x（2026 年中）已实现 FlashInfer kernel 融合，EAGLE3 头预测
标签：vLLM Roadmap2026 Speculative Decoding KV Offloading
二、RAG 分类
2.1｜RAG 生产调试：7 个失败点 + RAG Fusion 陷阱
来源：https://www.zartis.com/rag-in-production-what-nobody-tells-you-until-youre-debugging-it
可信度：⭐⭐⭐⭐
7 大生产失败点（Barnett et al. 2024, IEEE/ACM CAIN）：
- 检索到错误文档（40% 场景下 RAG 系统召回到错误文档）
- Chunk 大小/重叠配置不当（固定 chunk 策略不适用于所有文档类型）
- 向量检索 vs BM25 关键词检索权衡
- 权限过滤缺失（生产必选项，不是可选项，从 Day 1 预算）
- RAG 添加 41% 延迟，无人预算（TTFT p90 应 < 2s）
- RAG Fusion 在生产中收益消失（固定 reranking 预算下 benchmark 优势消失）
- 幻觉内容（好上下文仍可能生成错误响应）
RAG Fusion 关键警示（March 2026 行业部署研究）： - 原始 RAG Fusion（多查询 + 互惠排名融合）在 recall benchmark 上表现优异 - 但生产环境中固定 retrieval depth + reranking 预算下，reranking + truncation 后收益大部分消失 - 不要在 benchmark 上选择融合策略 → 生产前测试
RAG 延迟 SLA 建议： - TTFT p90 < 2s（否则 autoscaling 频繁触发） - 生产需分别设计 indexing pipeline 和 query pipeline
标签：RAG 生产调试 失败模式 RAG Fusion 延迟基准
2.2｜RAG 2026 架构模式：Eval-first 替代 Prompt-first
来源：https://www.agileinfoways.com/blog/building-production-ready-rag-systems-2026
可信度：⭐⭐⭐
架构趋势： - Eval-first development：先设评估，再写 prompt，而非反过来 - Native graph + vector 混合（Neo4j + vector / ApertureDB）成为高度关联知识默认 - Long-context vs RAG：1M+ token 模型减少但不能消除 RAG；超过几百页语料 RAG 仍更便宜/更快/更可控 - Hybrid approaches：小 RAG 输入 long-context 模型（新兴模式）
生产 RAG 4 项必检清单（跳过任意一项即非生产就绪）： 1. 混合检索（向量 + 关键词） 2. 重排层 3. 完整可观测性 4. 99.9% SLA
标签：RAG架构 Eval-first GraphRAG Hybrid检索 生产检查清单
三、Agent 设计模式分类
3.1｜AI Agent 7 大设计模式 2026（含 LangChain 2026 数据）
来源：https://pub.towardsai.net/the-7-design-patterns-every-ai-agent-developer-should-know-in-2026-c77f28b51565
可信度：⭐⭐⭐⭐
7 大模式 + 关键数据：
- ReAct（Reasoning + Acting）：基础模式，适合简单任务
- Plan-and-Execute：Planner 生成完整多步计划 → Executor 顺序执行；减少推理漂移，支持独立步骤并行；直接解决 32% 从业者的 output quality 痛点
- Tool Use：32% of AI practitioners 认为 output quality 是头号部署障碍；20% 认为 latency 显著
- Memory Management：分层记忆（short-term context + long-term vector store）；多数开发者过早跳过
- Supervisor / Multi-Agent：Supervisor agent 协调 Specialist agents；Agent 间调用需要严格 schema 契约
- Reflection：Agent 自我验证输出（适用代码生成/数学）
- Collab（Collaborative）：多 Agent 辩论机制（+15pp 准确率提升）
Interoperability 挑战： - 不同框架 Agent 调用不同 API，schema 各异 - 系统可靠性取决于最弱环节 - Agent-to-agent 调用需如同第三方 API 调用一样严格对待
标签：Agent设计模式 Plan-and-Execute Multi-Agent ReAct Memory Management
3.2｜LangChain Java AI 生产生态（Spring AI + LangChain4j）
来源：https://substack.com/home/post/p-186623936
可信度：⭐⭐⭐
工程数据： - Semantic Caching 在 Java 编排层实现 60-80% LLM 运营成本降低 - GraphRAG + hybrid search 多跳推理准确率 85-95% - Spring AI 和 LangChain4j（Java）Late 2025 达 production-ready - Jlama：100% Java 实现，CPU 优先 + GraalVM native 编译（无 GPU 环境可用） - LangChain4j：20+ LLM providers，30+ embedding stores
标签：Java AI SpringAI LangChain4j SemanticCaching GraphRAG 成本优化
四、多模态 RAG 分类
4.1｜BigDataBoutique 多模态 RAG 三大架构 + Token 成本实测
来源：https://bigdataboutique.com/blog/multimodal-rag-retrieval-over-images-pdfs-and-text
可信度：⭐⭐⭐⭐
2026 三大多模态 RAG 架构对比：
| 架构 | 代表 | 适用场景 | Token 成本（1024×1024） |
|---|---|---|---|
| Caption-and-Index（最简） | BLIP + 文本嵌入 | 简单图文分离文档 | 低 |
| Unified Vision Embeddings | Cohere Embed 4 / voyage-multimodal-3 | 统一语义空间 | 中 |
| Page-as-Image + Late Interaction | ColPali / ColQwen2.5 / ColNomic | 复杂 PDF/表格/图表 | 高但最精准 |
Token 成本实测（单张 1024×1024 图像）： - Claude 4：~1,600 tokens - Gemini：~1,300 tokens - GPT-4o：~765 tokens - 传 5 页图像：额外 4K-8K+ tokens（不含 system prompt）
文本 RAG 的硬上限： - 图 heavy 文档中，chunk 策略无论如何优化都无法恢复图表/表格/布局信息 - 多模态 RAG 是图 heavy 企业文档（医疗/金融/法律）的必选项
标签：多模态RAG ColPali ColQwen2.5 视觉嵌入 PDF解析 Token成本
4.2｜NVIDIA 企业多模态 RAG 蓝图
来源：https://developer.nvidia.com/blog/build-ai-ready-knowledge-systems-using-5-essential-multimodal-rag-capabilities
可信度：⭐⭐⭐⭐
NVIDIA Enterprise RAG Blueprint： - NeMo Retriever 提取多模态内容（文本/表格/图表/信息图） - 嵌入文本后进入向量数据库 - 查询时语义检索 + reranking + Nemotron LLM 生成 grounded 答案
标签：多模态RAG NVIDIA NeMoRetriever 企业RAG
五、开发流程分类
5.1｜Addy Osmani AI-Augmented 软件工程 2026
来源：https://medium.com/@addyosmani/my-llm-coding-workflow-going-into-2026-52fe1681325e
可信度：⭐⭐⭐⭐
核心原则： - 拒绝 AI-automated software engineering，坚持 AI-augmented + 人类负责制 - AI 写代码 → 自动化工具 catch issues → AI 修复 → repeat（人类监督方向） - 若项目无测试或自动化检查，AI 生成代码 subtle bugs 会渗透到后期才发现
必备工程基础设施： - 自动化测试（至少关键路径） - Lint + 类型检查（pylint/tsc/eslint） - CI gate 必须通过才能合并 - Prompt 版本控制（与代码同仓库） - Token 消耗监控（成本控制）
标签：AI辅助工程 开发流程 质量门禁 Prompt管理 CI/CD
后续行动建议
| 优先级 | 行动 | 对应分类 |
|---|---|---|
| P1 | 建立 vLLM vs Ollama 选型决策树文档（今日新增 benchmark 数据） | 推理工程 |
| P1 | ColPali/ColQwen2.5 多模态 RAG 生产 token 成本追踪（实际项目数据） | 多模态 RAG |
| P2 | RAG 7 failure points 补充 vLLM/SGLang 官方调试文档链接 | RAG |
| P2 | LangChain 2026 State of AI Agent Engineering Report 精读（32% 数据来源） | Agent 设计模式 |
| P3 | Java Semantic Caching 方案对现有架构的借鉴价值评估 | Agent 设计模式 |
元信息
- 本次检索工具：Tavily Search（多 query 并行）
- 本次检索时间：2026-07-29 14:50 UTC
- 本次覆盖来源：SitePoint, Lyceum Technology, vLLM AI, Zartis, Galileo AI, Agile Infoways, NVIDIA Dev Blog, Medium (Addy Osmani), Towards AI Substack, BigDataBoutique, Substack (Java AI)
- 与现有草稿重叠：vLLM 2026 / ColPali / RAG 调试在 2026-07-28/29 已提及，本次提炼了新数字和具体架构对比表