工程实践筛选 · 2026-07-12 上午

主题：LLM 推理系统 / Agent 框架 / RAG 生产工程
检索范围：Tavily advanced 搜索（2026-07-10~12，week 深度），覆盖 arXiv、Substack、GitHub、Dev.to、Alice Labs、ML Engineer newsletter

🔴 高价值条目

1. Stanford 大规模本地 LLM 推理实证研究

来源：The ML Engineer #394（Jul 05 2026）
核心数据： - 88.7% 查询可被本地模型正确回答（路由到最佳本地模型时） - 71.3% ChatGPT 查询可被本地模型准确回答 - 评估范围：20+ 本地模型 × 8 加速器 × 100万+ 单轮问答 - 覆盖 Chat / 知识类任务强，技术推理类弱 - 指标：intelligence per watt = task accuracy / power consumption 工程意义：本地推理可行性量化，平台选型参考
可信度：Stanford 学术研究，大规模实验
标签：inference-systems benchmark local-LLM hardware-selection
行动：精读原论文，补充硬件平台和量化维度数据

2. Alice Labs：2026 年生产级 AI Agent 框架排名

来源：Alice Labs（2026 H1）
核心内容（18+ 生产部署经验）： | 框架 | GA 时间 | 关键更新 | |---|---|---| | LangGraph 1.0 | Oct 2025（Q2 2026 per-node timeout + durable streaming） | 生产最稳 | | Claude Agent SDK | renamed from Claude Code SDK, Jun 2026 hierarchical subagent | Anthropic 官方 | | CrewAI 1.14 | May-Jun 2026 pluggable-backend | 活跃 | | Microsoft Agent Framework 1.0 | Apr 2026（合并 Semantic Kernel + AutoGen） | 企业首选 | | LlamaIndex Workflows 1.0 | Jun 22 2026 | 数据优先 | | Pydantic AI | 轻量生产 | - | | AutoGen / AG2 | legacy 研究用 | - |

工程意义：选型决策参考，生产评分可对比
标签：agent-frameworks production LangGraph Claude-Agent-SDK CrewAI
行动：存参考，更新 agent 框架选型页

3. Pawan K Jha：KV Cache 架构系列（Part 1 + Part 2）

来源：Substack - Part 2（Jul 05 2026）
核心系统视角：

Part 1（Part 2 摘要）： - KV cache 作为第一性系统问题 - 内存架构：HBM / CPU / NVMe 存储层级 - 表征方式、内存布局、存储层次、分配、paging、retention、compression、内核访问

Part 2（重点）： - Prefix Reuse（跨请求 KV 复用） - KV-Aware Scheduling（调度策略） - 分布式 Cache Movement（跨 worker KV 迁移） - 分布式目录设计：cache identity → worker/device → memory tier → block ID → precision/layout → parallelism config → readiness → version → ownership/lease → size → last access - Prefill/Decode 分离：不同资源 profile，独立扩缩容 - 生产正确性：correctness checks、isolation boundaries、observability - 常见故障模式：cache hit 静默改变模型行为（比 miss 更糟）、transfer 暴露不完整状态

工程意义：分布式 LLM serving KV 管理完整框架，适合系统设计阶段
标签：kv-cache distributed-systems LLM-serving production memory-management
行动：精读 Part 2 全文，记录 prefix reuse 和 distributed directory 设计细节

4. FreqDepthKV：Frequency-Guided Depth Sharing for KV Cache Compression

来源：Scouts Yutori（Jul 05 2026 引用，原发布 Jul 07 2026）
核心数据（32K token prefill window）： - 3.9x effective compression - 6.2 GB peak KV memory - 70.4 tokens/second throughput - 2.06 s time-to-first-token - 58.3 Exact Match / 63.0 F1 - 方法：分解相邻层 KV state → shared low-frequency depth components + sparse high-frequency residuals - 在线轻量 probe 分配注意头模式（shared-depth / residual-depth / exact）

工程意义：无需 retraining 的 KV 压缩，适合长上下文场景
标签：kv-cache compression long-context inference-optimization
行动：关注 GitHub 实现，复现 benchmark

5. vLLM vs Ollama 吞吐对比基准（2026）

来源：SesameDisk 聚合社区基准
单并发（RTX 4090 / Llama 3.1 8B）： - Ollama：~62 tok/s；llama.cpp：~65 tok/s；vLLM：~71 tok/s - 量化格式统一后差距消失，"runtime is not the determining factor at this scale; quantization choice is"

50 并发： - Ollama：~155 tok/s；vLLM：~920 tok/s（~5.9x） - vLLM 在并发 >10 时保持线性扩展；Ollama 很快序列化

工程意义：单用户选 Ollama/lama.cpp，多用户必选 vLLM；量化格式 > 引擎选择
标签：vllm ollama benchmark throughput quantization
行动：参考，更新推理引擎选型对比

6. Dev.to：本地 LLM 推理完整工程指南

来源：Scouts Yutori（Jul 06 2026 引用原始链接）
覆盖内容： - GPU / Inferentia2 / TPU / Groq LPU 对比 - 量化对比：FP8 / INT8 / INT4 - KV cache 策略 - Speculative decoding 吞吐数据：70B 模型 1,665 tokens/sec - 平台编译需求

工程意义：跨硬件平台推理入门，适合团队平台选型
标签：local-llm inference quantization hardware speculative-decoding
行动：参考硬件对比章节

7. 推理引擎并发墙量化（arXiv:2607.05876v2）

来源：Scouts Yutori + Tavily extract
墙级别与触发阈值：

• MLA 风格 latent attention：所有 TP rank 全量复制 KV（head-parallel TP 无法 shard）
• DP attention 是高并发结构最优解

工程意义：生产部署并发规划，MLA 架构部署必读
标签：kv-cache concurrency MLA distributed-inference batching
行动：归档，审稿

8. BrownoutMoE：MoE 推理结构化工程（arXiv:2607.04164v1）

来源：Scouts Yutori（Jul 06 2026 引用）
核心问题：MoE expert 访问高度不均衡——少数 hot experts 处理大部分 token，大量 cold experts GPU 利用率低
解决方案： - Structure-Aware Grouping Module（离线 optimizer） - 专家分组离线优化（calibration activations + distillation-based merging） - SLO Analyzer 在线阈值自适应 - GPU block table + GPU kernel 实现（对比 vLLM 放置在 host） - PyTorch + PagedAttention + Triton 实现

工程意义：MoE 部署实用工程思路，expert 碎片化问题系统解法
标签：MoE inference-optimization vllm distributed-systems
行动：关注 GitHub 复现

9. Akashic：vLLM 长程 Agent 记忆管理（arXiv:2607.05708）

来源：Scouts Yutori + Tavily extract
实现要点： - 基于 vLLM v0.10.0，扩展控制路径，GPU 执行路径不变 - Memory retrieval → request admission layer - Memory write-back → request completion layer - 物理布局维护：online relocation path + background storage manager - 长上下文 prefill 成本：Transformer full prefill over entire prompt，compute 和 memory traffic 二次增长

工程意义：Agent 长期记忆系统化方案，vLLM 扩展实战
标签：vllm agent-memory long-context kv-cache production
行动：归档

10. Winder.ai：2026 AI Agent 生产构建指南

来源：Winder.ai
核心观点：

"Building an AI agent is remarkably easy in 2026... But building an agent that survives production still takes significant engineering work. It now lives in the harness, the environment, the store, and the evaluation and monitoring around the model, far more than in the framework."

生产 agent 必要组件： - LLM（匹配任务，自托管 vs 前沿托管） - Harness（包装模型的简单可观测循环） - Sandbox（隔离防止破坏真实系统） - Context（连接 agent 所需信息） - Tools（CLI 等可执行工具） - Store（markdown 文件目录 / 向量存储 / 混合，写规则） - Evaluation harness（标注 gold set）

选型建议： - 窄任务、高风险 → Pydantic AI 或 LangGraph - 开放目标 → OpenHands / Goose（markdown 引导） - 默认 → lean custom runtime 或 Helix full platform

工程意义：Agent 生产架构 checklist，避免 demo 陷阱
标签：agent-harness production evaluation architecture
行动：作为 agent 生产 checklist 使用

11. Frugal Testing：RAG 测试工程实践 2026

来源：Frugal Testing
三大失败模式： 1. Semantic mismatch（语义失配） 2. Chunk fragmentation（块碎片化） 3. Stale knowledge base content（知识库过期）

工具选型： - 纯 RAG pipeline → RAGAS - AI Agent / Agentic RAG → DeepEval - 已用 Datadog → DeepEval 集成更快

CI/CD 触发条件： - 代码变更时 - 知识库刷新时

五层测试框架：chunking → embedding → retrieval → grounding → generation

工程意义：RAG 生产测试可操作框架，避免答案不一致
标签：RAG testing CI/CD production evaluation
行动：作为 RAG 测试 SOP 参考

🟡 丢弃条目

分类标签汇总

kv-cache distributed-systems LLM-serving production agent-frameworks LangGraph Claude-Agent-SDK CrewAI vllm benchmark local-LLM hardware-selection long-context inference-optimization MoE agent-memory agent-harness evaluation RAG testing CI/CD concurrency quantization

建议写入路径

主文件：/shared/research-kb/inbox/jay/2026-07-12-morning-engineering-filter-inference-systems.md

补充草稿（如需拆分）： - /shared/research-kb/inbox/jay/2026-07-12-kv-cache-architect-jha-substack.md（KV Cache 架构 Part 1-2 精读笔记） - /shared/research-kb/inbox/jay/2026-07-12-agent-framework-alice-labs-ranking.md（Agent 框架排名表）

精读 / 审稿 / 主题页更新建议