Jay 工程实践筛选 · 2026-07-26

检索范围： arXiv · GitHub · Substack · 技术博客 · vLLM 官方博客
筛选标准： 真实环境 / 命令 / 错误 / 源码 / 性能数据 / 可复现步骤
实例： Jay

候选条目（共 18 条）

🔴 保留 — 高工程价值（7 条）

1. vLLM 官方工程博客：CI / Release / Benchmark 流程

  • 来源： vllm.ai (vLLM Team · Inferact)
  • URL： https://vllm.ai/blog/2026-07-16-keeping-vllm-production-quality
  • 作者： Kevin Luu (Inferact)
  • 时间： 2026-07-16
  • 工程亮点：
  • 2026 年 6 月合并 1,918 commits 到 main，日均 64 个 commit
  • CI 运行 13M job minutes，峰值 1,400 并发 runner
  • 性能基准测试：TTFT、TPOT、model accuracy (GSM8K/GPQA/AIME)
  • 函数调用准确率：Berkeley Function-Calling Leaderboard (BFCL)
  • 三类 benchmark task：performance + accuracy + function-calling
  • Pipeline 覆盖 H100 / AMD / B200 / Arm 等多 accelerator
  • 保留理由： vLLM 是生产 LLM serving 基础设施，此文揭秘 OSS 项目维护规模下的 CI 质量保障工程实践，包含真实数字和评估方法论，非概述性内容。
  • 可信度： 高（vLLM 官方博客，工程团队直撰）
  • 后续行动： 可入「LLM Inference 工程实践」主题页；建议精读 benchmark pipeline 配置方式
  • 标签： vLLM CI/CD benchmark LLMOps production

2. vLLM vs Ollama vs SGLang vs TensorRT-LLM 对比（Paolo Perrone）

  • 来源： theaiengineer.substack.com（Substack · Paolo Perrone）
  • URL： https://theaiengineer.substack.com/p/vllm-vs-ollama-vs-sglang-vs-tensorrt
  • 作者： Paolo Perrone
  • 时间： 2026（近期）
  • 工程亮点：
  • SGLang 吞吐比 vLLM 高 29%（16,200 vs 12,500 tok/s，H100，context-sharing 场景）
  • SGLang RadixAttention：共享 KV cache，multi-turn / RAG 场景优势显著
  • vLLM PagedAttention：KV cache 管理优于 TensorRT-LLM 的内存碎片化
  • TensorRT-LLM 冷启动需 28+ 分钟编译（H100），不适合高频换模型场景
  • Ollama：<5 分钟本地运行，单用户场景 DX 最佳，不可扩展
  • 推荐：Ollama 本地 → vLLM 生产默认 → SGLang 多轮/RAG → TensorRT-LLM NVIDIA 极致性能
  • 保留理由： 真实 benchmark 数据 + 场景决策框架，是目前最完整的 inference runtime 对比指南。有命令级建议（--tensor-parallel-size 等）。
  • 可信度： 高（theaiengineer 是 AI 工程领域高质量 Substack，作者 Paolo Perrone 为 daily.dev 工程师）
  • 后续行动： 入「LLM Inference 引擎选型」主题页；建议审稿确认数据来源引用
  • 标签： vLLM SGLang TensorRT-LLM Ollama benchmark inference

3. DoorDash RAG 生产系统深度拆解（Paolo Perrone）

  • 来源： theaiengineer.substack.com
  • URL： https://theaiengineer.substack.com/p/how-doordash-built-their-rag-system
  • 作者： Paolo Perrone
  • 工程亮点：
  • 四阶段 RAG pipeline（含验证层）：Ingest → Retrieve → Generate → Verify
  • 验证层三系统：实时 guardrail + 离线 LLM Judge + 仿真 flywheel
  • LLM Judge 五维评分体系 + 人工校准
  • 仿真 flywheel 四步：识别 failure mode → 构建评估 → LLM 扮演用户模拟 → 规模化测试
  • A/B 测试慢且用户受伤，仿真 flywheel 解决非确定性测试难题
  • 含代码级 pipeline 描述（Python, LangChain, Pinecone, Redis, PostgreSQL）
  • 保留理由： RAG 幻觉是生产头号难题，DoorDash 给出了完整解决方案（非概述），有架构图和代码结构，是少见的生产 RAG verification 深度案例。
  • 可信度： 高（DoorDash 工程 blog 二次加工，Paolo Perrone 有工程背景）
  • 后续行动： 入「RAG 工程实践」主题页；建议精读 LLM Judge 评估设计
  • 标签： RAG production verification DoorDash LLM-as-judge architecture

4. AI Model Serving on K8s: vLLM vs Triton vs NIM（lucaberton.com）

  • 来源： 技术博客 lucaberton.com
  • URL： https://lucaberton.com/blog/ai-model-serving-kubernetes-vllm-triton-nim-2026
  • 工程亮点：
  • 真实 K8s Deployment YAML（vLLM Llama 3.1 70B，2x A100 80GB）
  • YAML 含 readinessProbe、resource limits、tensor-parallel-size=2 等生产参数
  • Triton 架构图（multi-framework，支持 PyTorch/TensorRT/ONNX）
  • Llama 3.1 70B 32 并发 benchmark：
    • vLLM: 2,100 tok/s, TTFT P50=180ms, Memory 92%
    • Triton+vLLM: 1,950 tok/s, TTFT P50=210ms
    • NIM: 2,400 tok/s, TTFT P50=150ms, Memory 95%
  • 月度成本对比（2x A100 80GB）
  • 决策框架：vLLM（灵活）vs NIM（极致性能）vs Triton（多模型平台）
  • 保留理由： 少见的 K8s + LLM serving + YAML 配置 + benchmark 组合文章，可直接复用的生产配置模板。
  • 可信度： 中高（技术博客，有具体配置和数字，需交叉验证 benchmark 环境）
  • 后续行动： 入「LLM Serving Kubernetes 部署」主题页
  • 标签： Kubernetes vLLM Triton NIM deployment benchmark

5. MCP 2026-07-28 Spec 重写：Breaking Changes 详解

  • 来源： developersdigest.tech + workos.com + blog.modelcontextprotocol.io（多重来源交叉验证）
  • URL：
  • https://www.developersdigest.tech/blog/mcp-2026-07-28-breaking-changes
  • https://workos.com/blog/mcp-2026-spec-agent-authentication
  • https://blog.modelcontextprotocol.io/posts/2026-07-28-release-candidate
  • 工程亮点：
  • initialize/initialized handshake 移除（SEP-2575）
  • Mcp-Session-Id header 移除（SEP-2567）
  • 核心变为 stateless：任何请求可路由到任意 server instance
  • 路由改用 Mcp-Method + Mcp-Name headers（SEP-2243）
  • tools/list 响应可缓存（ttlMs + cacheScope）
  • MCP server 现可部署在普通 round-robin 负载均衡器上，无需 sticky sessions
  • 新增 Multi Round-Trip Requests（SEP-2322），InputRequiredResult 替代 SSE hold
  • Server-initiated requests 必须始于 client 请求中（SEP-2260）
  • Auth hardening：OAuth/OIDC token 验证加强
  • Migration checklist：Audit Roots → Harden auth → Migrate Tasks → Adopt tracing
  • SEP-2567 影响表： | 关注点 | 旧行为 | 新行为 | |---|---|---| | Session handshake | initialize 必须 | 自包含请求 | | Session state | 服务器内存/共享存储 | 核心无需状态 | | Load balancing | Sticky sessions | 纯 round-robin | | Request routing | 解析 body 拿 session ID | Mcp-Method header | | Tool list fetch | 每连接重新获取 | ttlMs 缓存 |
  • 保留理由： 2026-07-28 MCP 规范是大版本升级，所有 MCP server 维护者都需要迁移此文，含详细变更表和 checklist，工程操作价值极高。
  • 可信度： 高（MCP 官方 blog + 第三方工程解析双重验证）
  • 后续行动： 入「MCP 协议工程」主题页；建议精读迁移步骤（当前距发布仅约 2 天）
  • 标签： MCP protocol breaking-changes migration infrastructure

6. How Claude Code Actually Works（Paolo Perrone）

  • 来源： theaiengineer.substack.com
  • URL： https://theaiengineer.substack.com/p/how-claude-code-actually-works
  • 作者： Paolo Perrone
  • 工程亮点：
  • think-act-observe loop 工程实现拆解
  • 真实技术栈：Python 3.11, FastAPI, LangChain 0.3, Pinecone, Redis, PostgreSQL, Claude API (Anthropic SDK)
  • 工程 Rules：Never auto-commit（总是先 show diff）+ Run pytest after every edit + LLM calls must go through /lib/llm_client.py
  • 最佳实践：每个 task 约 300 行 CLAUDE.md，超过则指令遵循下降
  • Agent vs Chatbot 区别：tools + loop
  • 效能研究：junior devs on greenfield 提效显著，senior devs on complex codebase 提效有限
  • 含 MCP servers 集成方式
  • 保留理由： 少见地从工程角度拆解 Claude Code 内部实现，非营销稿，有真实架构和 Rules 设计。适合了解 AI coding agent 的工程边界。
  • 可信度： 高（Paolo Perrone 工程背景，文章结构严谨）
  • 后续行动： 入「AI Coding Agent 工程实践」主题页
  • 标签： Claude Code agent architecture coding-agent

7. 单 Agent 四种模式深度解析：ReAct / Plan-and-Execute / ReWOO / Reflexion

  • 来源： theaiengineer.substack.com
  • URL： https://theaiengineer.substack.com/p/the-4-single-agent-patterns
  • 作者： Paolo Perrone
  • 工程亮点：
  • 三个设计问题：何时规划 / LLM 调用次数 / 失败如何处理
  • ReAct：per-step 规划，适应性强，生产最常见（但非最优）
  • Plan-and-Execute：upfront 规划，step 失败时 replan，安全但 token 成本高
  • ReWOO：upfront 规划，2 次 LLM 调用，并行执行工具，token 最省
  • Reflexion：带自审的 retry loop，memory 积累，适合强 pass/fail 标准
  • 决策树： step 依赖？→ 需要 self-correction？→ token 成本优先？→ 哪个模式
  • 实际建议： 大多数生产 agent 是 ReAct；其他三种针对特定 failure mode，不存在就先用 ReAct
  • 保留理由： 工程视角的 agent pattern 对比，有决策树和 token 成本分析，不是概述，适合选型参考。
  • 可信度： 高（Paolo Perrone，工程化解读）
  • 后续行动： 入「Agent 架构模式」主题页
  • 标签： agent ReAct ReWOO Reflexion architecture patterns

🟡 条件保留 — 中等工程价值（5 条）

8. vLLM vs TensorRT-LLM vs SGLang H100 Benchmark（iternal.ai）

  • URL： https://iternal.ai/how-to-deploy-llm-on-premise
  • 亮点： 2026 H100 实测数据（Llama-3.3-70B FP8），吞吐量 / TTFT p50/p95 / VRAM / 冷启动时间对比表
  • 保留条件： 数据来自厂商，需交叉验证；benchmark 环境参数需确认
  • 标签： vLLM benchmark H100 inference

9. Microsoft Agent Framework BUILD 2026（含 CodeAct benchmark）

  • URL： https://devblogs.microsoft.com/agent-framework/microsoft-agent-framework-at-build-2026-announce
  • 亮点： CodeAct 提升 52.4% 速度（27.81s→13.23s），GitHub Copilot SDK 集成，Agent Harness 生产模式
  • 保留条件： 来自 Microsoft 官方，有 CodeAct benchmark 数据但未提供测试条件细节
  • 标签： Microsoft agent-framework CodeAct production

10. Superlog — AI Observability 新工具（YC 2026）

  • URL： https://github.com/hammadhaqqani/awesome-devops-ai
  • 亮点： 自动归类错误 → incidents → 单个可合并 PR 入 Slack，YC 2026 新入学，2 周 1K GitHub stars
  • 保留条件： 新工具需观察社区采用情况
  • 标签： observability AI-ops tool 2026

11. Context Engineering 深度解析（applydata.io）

  • URL： https://applydata.io/5-data-ai-engineering-trends
  • 亮点： chunking / retrieval routing / memory management / structured API calls 的系统化方法论
  • 保留条件： 概述性较强，适合作为 Context Engineering 概念引入
  • 标签： context-engineering RAG LLM

12. The 10 Themes Defining AI Engineering in 2026（ai.engineer）

  • URL： https://www.ai.engineer/AIE_2026_Q1_report.pdf
  • 亮点： Agent sandboxing（Docker + AST parsing）/ RL training / GRPO + SFT + programmatic verifiers
  • 保留条件： 来自 AI engineer 峰会，内容深度不均，建议选择性精读
  • 标签： agent sandboxing RL AI-engineering

⚫ 丢弃 — 低工程价值（6 条）

丢弃 1：MLOps/LLMOps 基础概述（Snowflake / IBM / Databricks / RedHat / ml-ops.org / geeksforgeeks）

  • 丢弃理由： 全部为基础概念概述，无新数据、无命令、无源码、无性能数字。MLOps 成熟话题，这些来源均无 2026 年新内容。重复阅读无增量价值。
  • 标签： （丢弃）

丢弃 2：Substack 路线图类文章（The Complete AI Engineer Roadmap 2026 / How to Break Into AI Engineering in 2026 / The 2026 AI Engineer Roadmap / From Zero to Pro AI Engineer Roadmap / Top AI Engineering Skills 2026）

  • 丢弃理由： 5 篇 Substack 路线图文章，内容高度重叠（均从 LLM APIs → Vector DB → RAG → Agents → Deployment），无新洞察，无工程细节，仅职业建议类内容。不符合「工程实践」筛选标准。
  • 标签： （丢弃）

丢弃 3：Multimodal AI 概述类（ruh.ai / enlightlab.com / LinkedIn Pulse / icertglobal / kellton / tiledb / mindstudio / teamvoy / aimlapi / aihot 类）

  • 丢弃理由： 均为 2026 年 multimodal overview，无 benchmark 数据、无部署步骤、无工程命令。多为营销向内容。
  • 标签： （丢弃）

丢弃 4：AI Engineering Field Guide / LLM Engineer Handbook README 类汇总

  • 丢弃理由： 目录性质内容，非一手工程内容；实质内容均为指向其他资源的链接合集。
  • 标签： （丢弃）

丢弃 5：awesome-devops-ai / awesome-ai-agents / awesome-prompts 类汇总

  • 丢弃理由： 工具列表，非具体工程实践；Superlog 是例外（已单独保留）。
  • 标签： （丢弃）

丢弃 6：Armada 简历类 GitHub Profile

  • 丢弃理由： 个人简历式 profile，内容为职位描述和技能列表，无工程细节。
  • 标签： （丢弃）

汇总

类别 数量 条目
🔴 高工程价值（保留） 7 vLLM CI/Release · vLLM vs SGLang vs TensorRT-LLM · DoorDash RAG · K8s LLM Serving · MCP 2026-07-28 重写 · Claude Code 工程拆解 · 单 Agent 四模式
🟡 中等工程价值（条件保留） 5 H100 Benchmark（iternal.ai）· MAF BUILD 2026 · Superlog · Context Engineering · AI Engineering 2026 主题
⚫ 低工程价值（丢弃） 6 MLOps 概述 x5 · 路线图 x5 · Multimodal 概述 x10 · 工具列表 x3 · GitHub Profile

建议写入路径

本次保留条目可写入以下主题文件（供后续 GitHub 同步任务处理）：

/shared/research-kb/inbox/jay/2026-07-26-engineering-filter.md  ← 本文件（已写入）

后续 GitHub 合并建议： - vLLM CI/Release + vLLM vs SGLang benchmark → 合并入「LLM Inference 工程实践」页面 - DoorDash RAG + Context Engineering → 合并入「RAG 工程实践」页面 - K8s LLM Serving → 新建或更新「LLM Serving Kubernetes 部署」页面 - MCP 2026-07-28 重写 → 更新「MCP 协议工程」页面 - Claude Code + 单 Agent 四模式 + MAF BUILD → 合并入「AI Agent 工程实践」页面

本次关键洞察

  1. MCP 2026-07-28 是近期最大工程变更，所有 MCP server 维护者需在 2 天内（2026-07-28）完成迁移评估，stateless 架构对生产部署影响深远。
  2. SGLang 在 context-sharing 场景领先 vLLM 29%（H100），多轮对话 / RAG / agent 场景建议优先考虑 SGLang。
  3. RAG 必须加验证层，DoorDash 四阶段模型是当前最完整的生产 RAG verification 架构参考。
  4. vLLM 已是 OSS 基础设施级别项目，月均 1,918 commits，1,400 并发 CI runner，5.6M 月 pip 安装量。

Jay · 2026-07-26 · 工程筛选第 3 次/天