工程文章筛选报告 · Jay · 2026-09-15
任务总览
- 本次主题: LLM Agent / RAG / Inference 生产工程
- 检索范围: arXiv、GitHub、vLLM Blog、Substack (LLMOps/Agent)、Harness/MLflow 技术博客、DEV.to
- 候选条目: 16 条
- 高价值条目: 8 条
- 建议写入路径: 见文末
筛选标准 (Jay 工程四维)
- 真实环境 — 有 Docker/Kubernetes/命令行实际配置，非"概念介绍"
- 错误/排障案例 — 生产事故、postmortem、错误链分析
- 源码/命令/性能数据 — 可复现步骤、benchmark 代码、参数示例
- 工程量化 — 失败率、数值指标、AB 测试数据
✅ 保留条目 (8 条)
1. [HIGH] vLLM Production Deployment Guide 2026 — SitePoint
URL: https://www.sitepoint.com/vllm-production-deployment-guide-2026
标签: vLLM Kubernetes Docker production inference
保留理由:
- 完整 docker-compose.yml + Kubernetes YAML，含 topologySpreadConstraints、nvidia runtimeClassName
- 真实 vLLM 参数：--max-model-len 8192、--gpu-memory-utilization 0.90、--quantization awq、--enable-prefix-caching
- .env 配置、chmod 600 安全说明、healthcheck 探针配置
- Prometheus metrics 集成 (/metrics)、kubectl describe pod 排障命令
- benchmarks/benchmark_serving.py 基准测试脚本引用
- ⚠️ 警告：AWQ 需要预量化 checkpoint，不可直接用于 base model
2. [HIGH] When Errors Become Narratives: A Longitudinal Taxonomy of Silent Failures in a Production LLM Agent Runtime — arXiv 2606.14589
URL: https://arxiv.org/html/2606.14589v1
标签: LLM-agent silent-failure postmortem production observability
保留理由:
- 8 周真实生产环境，22 个完整 postmortem，28 次 silent failure 实例
- 4286 个单元测试 + 827 个声明式治理检查作为防御纵深
- 8 个 LLM 提供商混合使用的生产拓扑
- 核心洞察：错误链跨越 3 层（adapter → proxy → client），每层各自合理地剥离了可操作信息，最终人类收到 0 actionable bits
- meta-rule：error chains must preserve upstream cause across layers（LLM 管线的分布式追踪教训变体）
- 案例：HTTP 502 根因是上游 provider 免费配额耗尽，但错误体被逐层截断
- 系统：openclaw-model-bridge（连接自托管/商业 LLM 到 WhatsApp/Discord），3-plane 设计（LLM Core、Tool Governance Proxy、Memory Plane）
- 需进一步核验：该论文是否有完整代码仓库（ICSE 2026 SEIP 论文）
3. [HIGH] vLLM GitHub — production-ready 核心仓库
URL: https://github.com/vllm-project/vllm
标签: vLLM PagedAttention continuous-batching inference open-source
保留理由:
- 91,525 stars，22,079 forks，活跃开发（2026-09-12 更新）
- 核心功能：PagedAttention、continuous batching、CUDA/HIP graph、speculative decoding
- 支持量化：GPTQ/AWQ/AutoRound/INT4/INT8/FP8
- 多后端：NVIDIA GPU、AMD ROCm、Intel CPU/GPU、TPU、AWS Neuron
- 配套仓库：vllm-omni（多模态）、llm-compressor（压缩）、speculators（投机解码）、vllm-dashboard
- ⚠️ 工程注意：依赖 CUDA 版本、Torch 版本兼容性，setup.py/pyproject.toml 需要审核
4. [HIGH] PyTorch Conference NA 2026 — vLLM Sessions
URL: https://pytorch.org/blog/vllm-sessions-at-pytorch-conference-north-america-2026
标签: vLLM PyTorch KV-cache production inference observability
保留理由:
- "A Developer's Guide to Attention in vLLM" — Red Hat 工程师，KV cache 内部机制
- "Making Enterprise Agentic Inference Production-Ready" — Red Hat，KV cache 管理、并发、可靠性
- "Agentic Systems from Cloud to Edge" — 结合 ExecuTorch + vLLM 的异构部署
- 生产 CI/质量保证议题：AI agent 自动分类 CI、分离噪声与回归、起草修复建议
- ⚠️ 建议：追踪 session 视频/PDF（2026-10-20 会议后发布）
5. [HIGH] AI Deployment in Production: CI/CD for LLMs & Agents — Harness.io
URL: https://www.harness.io/blog/ai-deployment-in-production-orchestrate-llms-rag-agents
标签: LLMOps CI/CD prompt-versioning canary rollback production
保留理由:
- 完整 8 步 CI/CD 流水线：prompt 版本控制 → golden set eval → 语义回归阈值 → 安全门（PII/注入测试）→ canary rollout → 可观测性 → 自动回滚 → 数据集刷新节奏
- 关键原则："You're not just deploying a model — you're deploying the entire instruction-behavior stack"
- EU AI Act 合规要求（高风险 RAG 系统需维护审计链、索引版本追踪）
- 参考技术栈：LangChain/LlamaIndex + Qdrant/Pinecone + Cohere Rerank + RAGAS + LangSmith/W&B
6. [HIGH] Why Do Multi-Agent LLM Systems Fail (MAST Taxonomy) — Future AGI Substack
URL: https://futureagi.substack.com/p/why-do-multi-agent-llm-systems-fail
标签: multi-agent failure-mode specification coordination MAST
保留理由:
- MAST 分类法：14 种失败模式，三大类比例量化
- Specification/System Design：41.8%（任务误判、角色歧义、分解不当、重复角色、缺少终止条件）
- Inter-Agent Misalignment：36.9%（通信断裂、上下文丢失、输出冲突、格式不匹配）
- Task Verification/Termination：21.3%（过早终止 6.2%、验证不完整 8.2%、验证错误 9.1%）
- 失败率区间：41–86.7%（生产多 agent 系统）
- ChatDev 案例：正确率 25% → 40.6%（仅拓扑重设计），仍远低于生产容忍阈值
- 核心结论：79% 的失败源于 specification 和 coordination，不是模型或基础设施
- ⚠️ Substack 内容需二次核验引用的原始研究
7. [HIGH] ICSE 2026 SEIP — Delta Debugging for LLM-integrated Systems
URL: https://conf.researchr.org/details/icse-2026/icse-2026-software-engineering-in-practice/5/Delta-Debugging-for-LLM-integrated-Systems
标签: prompt-debugging delta-debugging semantic-markers LLM-testing ICSE
保留理由:
- 软件工程顶会（ICSE）SEIP track，Hao-Nan Zhu（UC Davis）+ AWS 工程师合著
- 核心技术：语义标记（semantic markers） — 在 LLM 输入中嵌入唯一标识符，从 CoT 中提取溯源信息
- 研究问题：Delta debugging 能否系统化定位导致 LLM 不良输出的输入片段？
- 评估基准：代表开发场景的 benchmark + 真实生产系统案例研究
- 核心主张：将 prompt 调试从"临时人工"变为"系统化方法论"
- ⚠️ 需查找完整论文 PDF 验证算法细节和 benchmark 代码
8. [HIGH] Building a Production RAG Pipeline — Rogue AI Blog
URL: https://rogueai.de/blog
标签: RAG chunking vector-store hybrid-retrieval production
保留理由:
- 20+ 生产 RAG 部署经验，文档处理 → 分块策略 → 向量存储 → 混合检索 → 响应质量的完整决策树
- AI Agent Orchestration 生产指南：故障处理、状态维护、并行执行、真实业务系统集成
- ⚠️ 每篇指南 10-12 分钟阅读，需精读提取具体分块策略参数、向量数据库选型对比数据
🔸 中等价值 (5 条，线索保留)
9. [MED] Keeping vLLM Production Quality: CI, Benchmarking, and Release Process — vLLM Blog
URL: https://vllm-project.github.io（条目列表中找到，但直接 URL 404，需核实）
标签: vLLM CI benchmarking release
说明: 列表显示存在 Jul 15, 2026 文章，但直接 URL 返回 404，需通过博客首页索引访问或搜索完整路径。线索价值高，需进一步定位。
10. [MED] Evaluating AI Agents in Production: From Traces to Test Suites — Edge of Context
URL: https://slavadubrov.github.io/blog
标签: evaluation traces test-suite agentic
说明: 将 trace 转化为版本化回归数据集、轨迹指标、校准 judge、CI gate。RAG 评估覆盖解析/检索/重排/生成/引用/遥测全链路。需精读全文提取具体指标和代码模式。
11. [MED] How to Defeat Non-Determinism in LLM Inference — MLOps.substack
URL: https://mlops.substack.com/p/how-to-defeat-non-determinism-in
标签: inference non-determinism KV-cache reproducibility
说明: Consistent KV layout、fixed split-size 策略等具体内核级优化。内容碎片化，需与 vLLM 源码交叉验证。
12. [MED] Model Quantization in 2026: Foundations to Production — Edge of Context
URL: https://slavadubrov.github.io/blog
标签: quantization AWQ GPTQ FP8 inference-optimization
说明: 按瓶颈/硬件/运行时内核/校准数据/部署检查选择量化路径。需精读全文提取具体参数和 benchmark 数据。
13. [MED] QA the Agent, Not the Code — MLOps Community Substack
URL: https://mlopscommunity.substack.com/p/qa-the-agent-not-the-code
标签: evaluation agent-QA test-design
说明: 职业角度的 LLM 应用生命周期管理。需精读判断是否含具体测试框架或案例。
❌ 丢弃条目 (5 条)
| # | 条目 | 丢弃理由 |
|---|---|---|
| 14 | Artjoker - Prompt Engineering Best Practices 2026 | 通用最佳实践罗列，无真实命令/代码/性能数据 |
| 15 | Maxim AI - Top 5 Prompt Engineering Tools 2026 | 工具对比表为主，无实际使用命令或排障案例 |
| 16 | Addy Osmani - My LLM Coding Workflow 2026 | 个人工作流建议，无可复现步骤或工程命令 |
| 17 | Java Revalidated - 11 AI/LLM Books 2026 | 书籍推荐列表，无工程内容 |
| 18 | FutureSmart Agent Platform Review | 产品评测，软文性质，无源码/命令/性能基准 |
分类标签体系
#LLM-agent #silent-failure #postmortem #observability
#vLLM #inference #PagedAttention #continuous-batching
#RAG #chunking #hybrid-retrieval #vector-store
#multi-agent #failure-mode #MAST #coordination
#CI/CD #prompt-versioning #canary #rollback
#delta-debugging #prompt-debugging #semantic-markers
#quantization #AWQ #GPTQ #FP8
#MLOps #LLMOps #production
后续行动建议
- arXiv 2606.14589 — 优先获取完整 PDF，提取 22 个 postmortem 细节和错误分类体系
- ICSE 2026 Delta Debugging — 搜索完整论文 + 配套 benchmark 代码仓库
- vLLM 生产质量 CI/Benchmarking — 修复 URL 定位完整文章
- Edge of Context 全站 — 精读 RAG 评估和量化指南，提取具体指标公式
- MAST Taxonomy — 交叉核验 14 种失败模式原始来源（是否来自带代码的正式论文）
输出元数据
- 实例: Jay
- 执行时间: 2026-09-15 10:50 UTC
- 检索引擎: Tavily Search
- 草稿路径:
/shared/research-kb/inbox/jay/2026-09-15-llm-agent-production-engineering.md - 状态: 待审核 / 可直接入库