Jay 工程筛选 · 2026-10-13 晚间轮次

筛选范围

  • Tavily 检索：AI Agent 工程、Multimodal RAG、MLOps、ColPali 工程实践
  • 来源：Substack (theaiengineer, codingwithroby, himanshuramchandani) + Spheron/MLflow/Redis/Andrii Furmanets 技术博客

✅ 保留条目

1. [Spheron] ColPali Multimodal RAG on GPU Cloud

URL: https://www.spheron.network/blog/colpali-multimodal-document-rag-gpu-cloud 类型: 工程实现 / 基础设施 保留理由 - 具体命令/数字/环境: - H200 141GB GPU 内存分配明细：ColQwen2.5-7B ~16GB + Qdrant 500K pages ~50GB + Qwen2.5-VL-7B via vLLM --gpu-memory-utilization 0.35 ~49GB，总计 115GB，剩余 26GB headroom - 吞吐量 benchmark 表（A100/H100/H200/B200 各档位页/秒）： - A100 80GB: ColQwen2.5 ~12 pages/s, ColPali-3 ~18 pages/s - H100 SXM5: ~20/~30 pages/s - H200 SXM5: ~28/~42 pages/s - B200 SXM6: ~48/~70 pages/s - 1M 页索引成本估算（Sphon on-demand，2026-04-30 费率）：A100 $1.04/hr, H100 $2.93/hr, H200 $4.54/hr, B200 $6.73/hr - 双节点架构：Indexing node（B200 做批处理 embedding）+ Inference node（H200 运行 vLLM + Qdrant reader） - 安装命令：pip install colpali-engine pdf2image Pillow qdrant-client；Qdrant 多向量 collection 配置，vector size=128 (ColPali 默认)，支持 int8 量化 - PDF 分辨率 448×448（ColPali 默认），batch size 4-16（视 VRAM 而定） - ColPali-3 = PaliGemma-3B backbone，448×448 → 1030 patch tokens/page，每个 patch 投影到 128 维向量 评价: 罕见的 GPU 显存分配实测数据 + 成本核算工程文章，可直接用于采购和容量规划 可信度: 高（有具体 GPU 型号/费率/命令）

2. [Substack] The AI Agents Stack: LLM to Production (2026) - The AI Engineer

URL: https://theaiengineer.substack.com/p/the-ai-agents-stack-2026-edition 类型: 架构综述 / 工程路线图 保留理由: - 2026 年 Agent 6 层栈（全新分层）： - L1 Agent Surface（人机交互界面） - L2 Orchestration/Runtime（控制平面，LangGraph/CrewAI/AutoGen） - L3 Memory（独立层，非 vector DB 附属） - L4 Knowledge（RAG 外部知识） - L5 Tools/MCP（工具调用） - L6 Models/Inference（基础模型） - 两条纵轴：Observability/Eval + Governance/Security - 2024→2026 三项重大变化：MCP 标准化、Reasoning model 兴起、Memory 成为独立原语 - "Context engineering" 取代 "prompt engineering" 成为核心学科 - Memory blocks：结构化命名字段，agent 可读可写，替代将所有信息塞入 system prompt - Guardrails before action 模式：授权检查在 tool execution 层而非 output 层 - OWASP MCP Top 10 (beta) 发布（首个面向 tool-connected agent 的安全 checklist） 评价: 2026 年 agent 工程完整分层图谱，Substack 高价值来源，适合作为知识库架构参考 可信度: 高（The AI Engineer 专栏，工程受众明确）

3. [Substack] The 2026 AI Agent Stack, Drawn from Scratch - Coding with Roby

URL: https://codingwithroby.substack.com/p/the-2026-ai-agent-stack-drawn-from 类型: 架构综述 / 工程路线图 保留理由: - 与 theaiengineer 文章互为补充，视角略有不同 - Model routing 作为生产标配：分类/路由用小模型，复杂推理用 frontier 模型（RouteLLM 数据支撑） - Cursor 案例：acceptance-rate model 每 90 分钟重训练一次 → eval 在生产中持续运行 - 2026-02 Gartner Market Guide for AI Evaluation：到 2028 年 60% 软件工程团队将使用 eval 平台（2025 年仅 18%） - EU AI Act 2026 年重要节点：2026-08 高风险系统全面执行 - 2026 年初 MCP 服务器相关 CVEs：30+ 个，43% 为 shell injection - LangChain State of Agent Engineering：89% 机构有 observability，但仅 62% 有详细 tracing，半数运行离线 eval 评价: 与 theaiengineer 互补，补充了量化数据（18%→60%、43% injection）和监管时间线 可信度: 高

4. [Blog] Building Production-Ready AI Agents in 2026 - MLflow

URL: https://mlflow.org/articles/building-production-ready-ai-agents-in-2026 类型: 架构 / 工程实践 保留理由: - 微服务式多 agent 架构优于单体 agent：各 sub-agent 可独立升级/替换（模型每几个月就替换） - Monolithic agent = demo 易，生产难 - 强调 evaluation 嵌入 workflow 内部（非仅离线批处理） - 提到 MLflow GenAI 工程能力：trace-level observability、LLM-as-Judge - Runtime governance：确定性策略在 model layer 之下执行，防止 agent 在响应发出前已执行危险操作 - AI Gateway：跨 provider 成本控制 + prompt governance - Drift detection + hallucination monitoring + structured audit trails 评价: MLflow 视角的生产 agent 架构设计原则，对比了 monolith vs microservices agent design 可信度: 高（MLflow 官方工程博客）

5. [Blog] AI Agents in 2026: Tools, Memory, Evals, and Guardrails - Andrii Furmanets

URL: https://andriifurmanets.com/blogs/ai-agents-2026-practical-architecture-tools-memory-evals-guardrails 类型: 工程实践 / 可复现步骤 保留理由: - Policy 机器可读格式（具体代码示例）： policies: prod: allowTools: ["search", "readDb", "createTicket"] requireApprovalFor: ["sendEmail", "deleteRecord", "chargeCard"] - Tracing payload 最小结构： traceId, stepId, tool name, arguments hash (非原始 secrets), duration, result summary, model + token usage - Guardrails before action 在 tool execution layer 而非 output layer 实施 - 端到端可测试的 policy 格式 + tracing 结构 → 可直接用于 agent 生产实现 评价: 少数有具体数据结构示例的文章，policy 代码 + tracing payload 可直接参考 可信度: 中高（个人技术博客，但结构化数据可信）

6. [Blog] AI Agent Architecture: Build Systems That Work in 2026 - Redis

URL: https://redis.io/blog/ai-agent-architecture 类型: 架构 / 内存类型学 保留理由: - 4 类 memory taxonomy（具体且可操作）： - Working memory：session 内 token 窗口内 - Episodic memory：跨 session 历史交互，带完整时间/上下文 - Semantic memory：结构化知识库，vector DB + chunking - Procedural memory：playbook / SOP，decision trees / BPMN / markdown 文档 - Latency constraint 分析： - 语音/聊天 agent：首 token 延迟期望 < 500ms - 紧延迟预算 → 架构简单化 - 语义缓存可显著减少 LLM API 调用 - Pattern matching原则：简单单步任务→direct LLM call；多步结构清晰→Plan-and-Execute；动态探索→ReAct；复杂多域→multi-agent 评价: 4 类 memory taxonomy 清晰，可直接用于 agent 架构设计文档；latency constraint 是容量规划参考 可信度: 中高（Redis 官方博客，Redis 作为 agent 记忆存储 backend 有实际案例）

7. [Substack] AI Agents Roadmap 2026 [Ship or Die] - Himanshu Ramchandani

URL: https://himanshuramchandani.substack.com/p/ai-agents-architect-2026-ship-or 类型: 工程路线图 保留理由: - Phase 2 重点：Multi-Agent Orchestration + Persistent Memory = "生产工程真正开始的地方" - FastAPI + Docker + Pytest 组合：第一个真实可测试 artifact - 强调"skip containerizing and testing this, you've built a notebook, not a portfolio piece" - 多 agent 编排从"有趣实验"变为"企业默认需求"的时间节点 评价: 作为路线图价值一般，但 Phase 2 描述的生产起点工程意识有价值 可信度: 中（个人 roadmap，但工程意识正确）

❌ 丢弃条目

条目 丢弃理由
EITT Academy AI Agents 2026 Guide 五层架构描述偏概念，无具体命令/数字/错误案例；通用性综述
TrueFoundry LLM Agents Complete Guide FAQ 风格，架构描述泛泛，无生产细节
LangChain Agent Frameworks Comparison CrewAI 社区反馈有价值，但缺少实际命令/错误；对比表不够具体
YouTube: LLM Engineering Roadmap 2026 (Cloud Guru) 课程目录/时间戳，无实质工程内容
Azilen MLOps Best Practices 清单式 best practices，无真实环境、命令、错误、排障经验
TuringPost 20 Advanced RAG Types 学术分类法为主，非工程实践；不包含命令或复现步骤
AIticlesledge Multimodal RAG Complete Guide 趋势综述，无具体实现细节或数值
Techment RAG in 2026 趋势综述，无工程深度
Mixpeek Multimodal RAG Frameworks Ranking 平台营销内容为主
Medium RAG-Anything Guide member-only，内容重复已知 ColPali/多模态信息

标签

agent-architecture multimodal-RAG ColPali GPU-benchmark memory-taxonomy eval-stack MCP EU-AI-Act guardrails context-engineering

建议写入路径

/shared/research-kb/inbox/jay/2026-10-13-evening-engineering-filter.md ✅ 已写入

是否需要精读/审稿/主题页更新

  • 精读推荐: Spheron ColPali（GPU 显存分配 + 成本核算）、Andrii Furmanets（policy 代码结构）
  • 主题页更新建议: 新增 AI Agent 架构 2026 完整分层 页面，整合本轮两条 Substack 栈图；Multimodal RAG 工程实践 页面补充 Spheron benchmark 数据
  • 审稿: 暂无紧急审稿需求，EU AI Act 时间线可加入合规监控清单