工程文章筛选报告 · Jay · 2026-09-17 14:50 (UTC+8)

筛选标准

保留包含以下任一特征的高价值文章：真实环境/命令、错误/故障模式、源码/代码片段、性能数据/benchmark、可复现步骤。 不输出任何 key、token、cookie 或私有下载链接。

候选条目（来源：Exa 搜索，2026-09 近期）

# 来源 标题 类型 核心内容 保留/丢弃理由
1 arXiv 2608.15127 AgentSysBench: LLM Inference to Agentic Workloads 基准测试 10个agentic应用benchmark、178,799生产sessions分析、6大关键发现、tool-result caching节省35.2%冗余搜索 保留：真实生产trace、instrumentation工具、4,641基准requests、64,924 LLM calls、非LLM组件主导延迟的量化数据
2 arXiv 2609.18123 AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning 测量协议 4个测量失败模式（strawman baselines、绝对时间不可迁移等）、5% CV cap、Anti-cheat检查、协议代码开源 保留：619 model calls实测、诚实baseline rewrite案例（10.6x→2.03x）、可验证协议
3 arXiv 2609.06128 Substrate-Portable Execution for Production LLM Workflows 架构设计 Amazon Rufus生产案例、3种execution binding（streaming/async SWF/batch Flink）、batch API 50%折扣数据、5种orchestration pattern验证 保留：百万客户级规模、无 detectable output quality差异的量化数据、binding-adaptive架构
4 arXiv 2609.01572 From Production Traffic to Self-Hosted LLM 后训练 200+内部应用consolidation、GRPO per-axis experts (3种failure mode)、2-stage SLERP merge、116M requests/月、50%平台流量迁移 保留：真实生产流量驱动、semantic collapse/over-calling/verbosity hacking的具体修复、ROI数据
5 arXiv 2609.10494 IBIB: Measuring Enterprise AI by Serving Route 评估协议 3-part协议（gold-blind preflight、reliability-inclusive scoring、score-blind adjudication）、128 locked tasks、987 assertions 保留：serving route而非model identifier的测量方法论、capability binding gate失败案例
6 Lambda MLPerf v6.1 MLPerf Inference v6.1 Benchmark Blackwell Ultra真实数据、GPT-OSS 120B 65,511 tokens/s (Offline)、Kimi K2.6 1T参数首次datacenter agentic workload、86.83% BFCL v4 accuracy 保留：v6.1最新真实benchmark数据、agentic inference on datacenter hardware首发、vLLM/SGLang生产数字
7 Netflix Tech Blog In-House LLM Serving at Netflix 工程实践 vLLM+Triton集成、Red-Black vs Versioned部署、logits processor C++ rewrite、custom decoding约束实现、vLLM V1 batch-level API迁移细节 保留：JVM serving system集成、response_format guided decoding bug fix、Prometheus metrics合并方案、prefill/decode分离实现
8 Databricks/Zepto Evaluation-First AI Agents LLMOps 100K+ tickets/day、80%+ AI管理、分层采样（18-20%覆盖率捕获45-60% edge cases）、MLflow dual-loop架构、Golden dataset从500→5247 examples、0.4 dev-prod gap 保留：分层采样策略具体数字、SPC drift detection、双环架构具体实现、4-6分钟问题检测延迟
9 LangChain/Schneider LLMOps at Enterprise Scale LLMOps 160K员工AI Assistant (One Jo)、107国家、Workspace per product设计、SME annotation queue、LLMOps maturity model (4级)、GitHub workflow自动化报告 保留：大规模企业LLMOps成熟度模型、20%产品含SME annotation的实际数据、LLM质量评分配置JSON示例
10 GitHub Continuum Production Data Flywheel Self-Healing LLM MLOps 11微服务ECS Fargate、Kafka 10 topics、Claude LLM-as-judge、166 Prometheus metrics、SPC drift detection、Terraform IaC、e2e 10/10 PASS 保留：完整生产级MLOps pipeline代码、GPU dependency明确标注、SPC window需100 traces门槛的实际限制
11 prodinit.com RAG Pipeline Debugging 调试指南 5大失败模式、80%问题出在ingestion层、cross-encoder rerank提升15-25%、BM25+vector混合检索、eval CI gate设计、checklist表格 保留：具体命令/阈值（rerank 50-200ms延迟、alpha=0.5起始值）、CI验收checklist
12 redis.io RAG Debugging Guide 调试指南 5类retrieval失败、Redis 66K vectors/s插入benchmark、90% precision@200ms median latency（1B vectors）、23,088-query MRR@3 +17.2点提升案例 保留：Redis具体benchmark数字、60% hallucination源于retrieval错误的真实数据
13 latitude.so Debug RAG Wrong Answers 调试指南 3类RAG失败（retrieval/context/synthesis）、Lost in the Middle效应、Config Drift检测signature、golden dataset方法 保留：具体检测signature（embedding model mismatch的sudden quality drop）、golden dataset构建方法
14 memx.app RAG Bug: Retrieval or Generation 诊断方法 recall@100→recall@10分离诊断、context precision/faithfulness分解、reranker 200ms延迟数字、chunk boundary bug诊断 保留：精确metric分解方法、faithfulness低但recall高=generation bug的判断标准
15 ruchitsuthar.com RAG Retrieval vs Generation Failure 诊断方法 Hit@k二值检查、chunk缺失→chunking/embeddings；chunk存在但低rank→reranking；chunk存在但generation错→prompt 保留：逐行诊断流程、prompt是最后才碰的层的原则
16 DistributedApps Substack Ch2 KV Cache Frontier (MLA/CSA/KVShare) 深度分析 DeepSeek MLA 93.3% KV压缩、RadixAttention prefix caching、Anthropic 5-min TTL经济学分析、KVShare跨层共享50-75%节省 保留：KV Cache工程前沿完整路线图、2026基础设施决策矩阵
17 DistributedApps Substack Ch3 Speculative Decoding (MTP/EAGLE-2/IndexShare) 深度分析 DeepSeek-V4 MTP、动态投机特征树、IndexShare buffer recycling、数学证明+Python reference harness 保留：可运行的Python实现、exact rejection sampling证明、concurrency roofline公式
18 DistributedApps Substack Ch5 Hardware-Aware Attention Kernels 深度分析 FlashAttention-3 Hopper TMA/warp specialization、FlashDecoding Split-K 8x加速、实测MFU 75-80%、TPU Pallas双缓冲 保留：MFU实测数据对比（15% naive→75%+ FA3）、H100/B200/TPU多硬件benchmark数字
19 DistributedApps Substack Ch6 Disaggregated Serving (Mooncake/vLLM V1) 深度分析 P/D disaggregation物理原理、prefill-decode interference数学证明、Mooncake KVCache分层存储(VRAM/DRAM/SSD/distributed)、vLLM V1 C++ async架构 保留：Amdahl定律推导、非LLM组件主导延迟的实测数据（5 of 10 apps）、TCO分析
20 codepointer Substack How Kimi K3 Engineered Its Way to Frontier 工程案例 KDA注意力(1M context)、MoE 896 experts/16路由、SiTU-GLU具体参数(β=4/25)、MoonEP通信优化、AgentENV Firecracker microVM checkpoint/resume 133ms/49ms 保留：K3 2.78T参数完整工程细节、checkpoint/resume具体数字、51M+ sandbox创建经验
21 smallaimodel Substack Tangram: Non-Uniform KV Cache Scheduling 调度系统 per-head KV长度42x不均匀性、reclaim cost 25% prefill时间、decode latency膨胀1.7x、离线规划方案(μ+α·σ)、2.6x throughput under 75% compression 保留：具体系统问题数字（fragmentation/imbalance/reclaim cost）、离线规划公式、Ahead-of-Time load balancing
22 designgurus Substack Generative AI System Design Complete Guide 2026 综述 7组件架构、RAG pipeline深度、LLM inference scaling patterns 丢弃：2026综述性质，无新数据/命令/源码
23 arXiv EDGE-EVAL (ACL Anthology 2026) EDGE-EVAL: Industry Deployment Metrics 评估框架 Tesla T4 legacy GPU、5个部署指标(Nbreak/IPW/ρsys/Ctax/Qret)、LLaMA-3.2-1B INT4: 14 requests ROI break-even、6,930 tokens/s/GB、QLoRA增加6-7x adaptation energy 保留：真实Tesla T4 benchmark、工业部署全生命周期指标、compact model效率 frontier数据

高价值条目（保留）

Tier 1 — 立即可复现 / 直接工程价值

标题 来源 关键数据/步骤 可操作点
AgentSysBench arXiv 2608.15127 4,641 requests, 64,924 LLM calls, 118,274 tool calls; 非LLM latency dominates; tool caching 35.2%搜索冗余 Benchmark toolkit开源、sandbox working-set峰值28GB/session、生产idle时间分布
Netflix LLM Serving Netflix Tech Blog vLLM+Triton集成、response_format bug fix、logits processor C++ rewrite、vLLM V1 batch API partial prefill tracking Red-Black vs Versioned部署策略选择、Prometheus metrics合并脚本
RAG Pipeline Debugging prodinit.com 80% RAG failures在ingestion层、rerank +15-25% correctness、BM25 hybrid检索、CI eval gate设计 Chunk/ reranker/ index freshness/ hybrid/ eval loop 5步checklist
RAG Debugging Guide redis.io Redis 66K vectors/s写入、90% precision@200ms(1B vectors)、60% hallucination源于retrieval 5类retrieval failure诊断流程、BM25+vector RRF融合代码
Zepto LLMOps Databricks Blog 100K+ tickets/day、80% AI管理、stratified sampling 18-20% coverage→45-60% edge cases detection、4-6 min问题检测 MLflow dual-loop架构、分层采样配置、golden dataset 5247 examples
AutoTuneBench arXiv 2609.18123 619 calls实测、诚实baseline: 10.6x→2.03x、5% CV cap、Anti-cheat outside agent surface 测量协议代码开源、可信度验收checklist
Continuum GitHub 11微服务ECS、166 Prometheus metrics、10 Kafka topics、Terraform IaC完整 SPC drift detection实现、Claude LLM-as-judge pipeline、GPU stub说明
Kimi K3 Engineering codepointer KDA 1M context、checkpoint 133ms/resume 49ms、51M sandboxes、MoEP路由均衡 完整代码链接、微VM checkpoint/resume具体机制

Tier 2 — 深度方法论 / 系统设计参考

标题 来源 核心洞察
DistributedApps Ch2-Ch6 Substack KV Cache工程前沿(MLA/CSA/KVShare)、投机解码(MTP/EAGLE-2)、Attention kernels(FA3/Split-K)、P/D disaggregation
Tangram KV Scheduling smallaimodel per-head 42x不均匀性、离线规划公式、2.6x throughput提升
EDGE-EVAL ACL 2026 工业部署5指标、Nbreak/IPW/ρsys/Ctax/Qret、Tesla T4真实benchmark
Substrate-Portable arXiv 2609.06128 3 binding架构(batch API 50%折扣)、Amazon Rufus生产验证
MLPerf v6.1 Lambda Blackwell Ultra最新数字、Kimi K2.6 1T datacenter agentic首发

丢弃条目（无工程细节/命令/数据）

丢弃原因 条目
综述性质，无新数据 Generative AI System Design Complete Guide 2026 (designgurus)
NVIDIA官方演示文风，无实际命令 Amdocs LLMOps (NVIDIA Blog)
已收录同系列文章，本期无增量细节 LangChain Blog (Schneider案例的更多细节版)

分类标签

agent-sysbench benchmark production-trace kv-cache rag-debugging llmops mlperf vllm disaggregation speculative-decoding moe llm-evaluation observability terraform kafka enterprise-llm

建议写入路径

草稿路径：/shared/research-kb/inbox/jay/2026-09-17T1450-jay-engineering-filter-sep17.md

精读建议： - AgentSysBench (arXiv 2608.15127) — benchmark工具可直接使用 - Netflix LLM Serving (Netflix Tech Blog) — 生产集成避坑指南 - AutoTuneBench (arXiv 2609.18123) — 测量协议代码开源 - prodinit + redis RAG调试 — 5步checklist可直接进CI - DistributedApps Substack Ch2-Ch6 — 2026 LLM inference工程完整参考

主题页更新建议： - Inference Systems: AgentSysBench + MLPerf v6.1 + Netflix + Tangram - RAG: prodinit/redis/latitude/memx 4篇调试指南合并为一个RAG Debugging SOP - LLMOps: Schneider + Zepto + Continuum 三层复杂度递进

Jay · 2026-09-17 14:50 UTC+8 · Exa搜索 + 人工筛选 · 不执行Git写入