2026-10-13 Jay 工程筛选 — 推理系统深度分析
检索范围: 推理引擎 benchmark · Agent 可靠性工程 · KV Cache 容量规划 · 源码/工具链深度分析 检索时间: 2026-10-13 10:50 (UTC+8) 本实例: Jay 本轮次: 第3次/天（工程专项）
一、推理引擎 Benchmark 深度对比（高置信度实测数据）
1. vLLM vs SGLang vs TensorRT-LLM vs llama.cpp vs Ollama — 2026 实测
来源: Winder.ai | 日期: 2026-10 | 可信度: 高（独立第三方，横跨多模型）
核心数据 - Llama 3.1 8B（FP16 / Q8_0，实测 5 服务器）：
| 引擎 | 1并发 tokens/s | 10并发 tokens/s | 50并发 tokens/s | 50并发首 token 延迟 | $ / 百万 output tokens |
|---|---|---|---|---|---|
| vLLM | 150 | 1,235 | 3,688 | 0.68s | $0.26 |
| SGLang | 154 | 1,233 | 3,617 | 0.73s | $0.27 |
| TensorRT-LLM | 141 | 1,127 | 3,219 | 0.54s | $0.30 |
| llama.cpp | 185 | 539 | 703 | 0.98s | $1.38 |
| Ollama | 79 | 239 | 277 | 1.7s | $3.50 |
核心数据 - Qwen3.8-27B（混合线性注意力，实测 5 服务器）：
| 引擎 | 50并发 tokens/s | 备注 |
|---|---|---|
| SGLang（state cache 调优后） | 1,725 | RadixAttention 共享前缀缓存优势 |
| vLLM | 1,610 | PagedAttention 通用内存管理 |
关键发现： - vLLM 和 SGLang 在标准 transformer 上性能接近（<2%差距），SGLang 在共享前缀 / 多轮对话 / agent 场景领先约7% - 混合线性注意力模型（如 GLM-5.3、Qwen3.8-27B）需 snapshot cache，SGLang 的 RadixAttention 更有优势 - llama.cpp 在 CPU/Q8 量化场景有优势，但吞吐和延迟全面落后 - 2026-09 社区规模：vLLM 92.7K GitHub stars vs SGLang 36.4K stars
工程结论：2026年生产推理选型决策树——
高并发 + 通用batch → vLLM（生态最大）
共享前缀 + 多轮 + agent → SGLang（RadixAttention 优势）
H100 单机极致低延迟 → TensorRT-LLM
本地开发 / 边缘 / CPU → llama.cpp
标签: inference-engineering / vLLM / SGLang / benchmark / KV-cache / production
建议操作: 进入 inference-systems 主题页，精读 SGLang RadixAttention 调度部分
二、arXiv 推理系统工程论文（本周高价值）
2. ReFold: Training-Free Reversible Inter-Turn Context Compression for SWE Agents
arXiv: 2610.07863 | 日期: 2026-10 | 可信度: 高（正式 arXiv 论文，附 SWE-bench 实测）
主题: SWE agent 的长程上下文压缩——无需训练，在完整窗口和压缩窗口之间可逆切换
核心贡献： - 提出可逆压缩：压缩后的观察可完全恢复到原始上下文大小，支持需要完整上下文的验证步骤 - 对比 SWE-bench Verified（Qwen3.6-27B，full window w=8）： - ReFold vs base：无质量损失 - ReFold vs LLMLingua-2（Pan 2024）：保留原始方法全部观测，压缩观测体至50% token - ReFold vs SWE-Pruner（Wang 2026）：per-entry 压缩策略 - ReFold vs AgentDiet（Xiao 2026）：用反射模型重写早期观测
实验细节（有源码）： - vLLM 22 服务 backbone 和 retrieval model - temperature=0.0, top-p=0.95, top-k=20, max_answer=1024 tokens - HiMem 对比组使用 bge-reranker-v2-m3 reranking model
工程价值: ⭐⭐⭐⭐⭐
- 直接提升 agent 上下文窗口利用率
- 可逆性保证验证步骤不丢失关键信息
- 适用于 SWE-bench、代码修复、多步骤推理场景
标签: LLM-agents / context-management / SWE-bench / compression / inference-engineering
建议操作: 精读源码压缩算法，进入 inference-systems 主题页；验证是否可集成到现有 agent harness
3. How Do Hardware Faults Manifest Differently in LLM Agents?
arXiv: 2610.12756 | 日期: 2026-10-08 | Workshop: MLforSystems and AI4Good | 可信度: 高
主题: 硬件位翻转故障（GPU SRAM/DRAM）在 LLM agent 闭环执行中的可靠性影响
核心发现： - 传统 LLM 推理故障研究以模型输出为终点；本文延伸至完整 agent 执行轨迹 - 引用 AgentChaos（Tan 2026）：chaos engineering via programmatic fault injection - 引用 LLMFI（Huang 2026）：跨推理阶段/模型组件/bit位的故障传播分析 - 关键问题：硬件故障如何在 agent tool-calling、memory retrieval、action decision 阶段传播
实验设置（Oregon State University + Qualcomm）： - 受信任硬件基准 vs 注入故障后的 agent 行为差异 - 对比推理密集型任务和 agent 决策型任务
工程价值: ⭐⭐⭐⭐
- 对部署 agent 到边缘/GPU 集群的可靠性工程师有直接参考价值
- chaos engineering 方法论可迁移到 agent 系统测试
- 提供了故障注入实验框架的参考架构
标签: reliability / LLM-agents / hardware-faults / chaos-engineering / production
建议操作: 进入 agent-production 主题页；关注故障注入工具链实现
4. The KV Cache Working Set: Online Capacity Planning for Production Inference
arXiv: 2609.27746 | 可信度: 高
主题: 生产推理场景下 KV cache 在线容量规划
核心系统引用： - vLLM 的 PagedAttention KV cache 管理 - SGLang 的 RadixAttention KV cache 复用 - Mooncake 和 LMCache 的 KV cache 独立管理方案
工程价值: ⭐⭐⭐⭐
- 提供生产环境 KV cache 容量规划的方法论
- 对推理成本优化和 GPU 内存规划有直接参考
标签: KV-cache / capacity-planning / inference-systems / vLLM / SGLang
建议操作: 进入 inference-systems 主题页；与今日 benchmark 数据交叉验证
5. Test-Time Memory Construction for Long Interaction Histories
arXiv: 2610.13348 | 日期: 2026-10 | 可信度: 高
主题: 长交互历史（多轮对话）的测试时记忆构建，替代 naive chunk-level RAG
对比方法： - Naive RAG（Lewis 2020） - Search-o1（Li 2025）：检索相关对话段 - MemoryOS（Kang 2025）：OS 风格连续记忆整合 - LightMem（2026）：基于 topic 的紧凑记忆单元 - HiMem（Zhang 2026）：event-level 组织 - EverMemOS / xMemory：高阶语义结构组织 - AnchorMem（Shen 2026）：记忆单元间 link 保留
实验配置（有源码细节）： - vLLM 22 serving backbone + retrieval model - temperature=0.0, top-p=0.95, top-k=20, max_answer=1024 tokens - HiMem 使用 bge-reranker-v2-m3 做 reranking - LazyMem 替换 original LazyMem-4B 为 backbone model（因为未公开）
工程价值: ⭐⭐⭐⭐
- 对多轮 agent 系统、长期记忆管理有直接工程参考
- 提供了记忆系统评测框架
标签: memory-systems / RAG / multi-turn-agent / inference / evaluation
建议操作: 进入 agent-architecture 主题页；关注 memory 检索 recall@K 评估方法
6. Multi-Aspect Runtime Verification for Simulation-Based V&V of LLM-Enabled Autonomous Agents
arXiv: 2610.08928 | 会议: MESAS 2026 (Springer LNCS) | 可信度: 高
主题: LLM 自主 agent 的运行时验证——simulation-based V&V
工程价值: ⭐⭐⭐
- 形式化验证方法在 agent 系统的应用
- 对 safety-critical agent 部署有参考意义
标签: verification / autonomous-agents / testing / safety
建议操作: 归档至 agent-production；关注仿真验证框架
三、GitHub Trending 工程工具追踪（本周）
7. REA — Reverse Engineer Anything
链接: https://github.com/morluto/rea | 48h stars: ~20K（7,744 stars/天）| 类型: MCP Server
工程价值: ⭐⭐⭐⭐
- MCP 协议驱动，连接 agent 至逆向工具链（Hoper、GHIDRA、IDA）
- 支持：native binaries、JavaScript/Electron、.NET assemblies、Android APKs、firmware
- Agent 可直接发起逆向任务无需手动工具切换
标签: MCP / reverse-engineering / agent-tools / security
建议操作: 关注 MCP tool schema 设计；可作为 agent tool-calling 最佳实践参考
8. deepseek-ai/deepseek-harness
链接: https://github.com/deepseek-ai/deepseek-harness | 来源: GitHub Trending Oct 9 2026 | 定位: Agent harness 框架
工程价值: ⭐⭐⭐⭐
- DeepSeek 自研 SWE agent 测试框架
- 与 ECC / afaan-m/ECC 同属 harness 工程生态
标签: agent-harness / SWE-bench / evaluation / deepseek
建议操作: 与 ECC 对比 tool-calling 和评测协议设计差异
四、本轮筛选保留/丢弃清单
| # | 条目 | 保留 | 丢弃理由 |
|---|---|---|---|
| 1 | vLLM vs SGLang benchmark（Winder.ai） | ✅ | — |
| 2 | ReFold 可逆上下文压缩（arXiv 2610.07863） | ✅ | — |
| 3 | 硬件故障在 LLM Agent 中的表现（arXiv 2610.12756） | ✅ | — |
| 4 | KV Cache Working Set（arXiv 2609.27746） | ✅ | — |
| 5 | Test-Time Memory Construction（arXiv 2610.13348） | ✅ | — |
| 6 | V&V for LLM Autonomous Agents（arXiv 2610.08928） | ✅ | — |
| 7 | REA - Reverse Engineer Anything（GitHub） | ✅ | — |
| 8 | DeepSeek Harness（GitHub） | ✅ | — |
| 9 | Medium roadmap 文章 | ❌ | 无源码/无命令/无实测数据 |
| 10 | LinkedIn 帖子 | ❌ | 非技术内容 |
| 11 | 通用 vendor 列表（LITSLINK 等） | ❌ | 软文，无工程细节 |
五、建议写入路径
主草稿路径: /shared/research-kb/inbox/jay/2026-10-13-jay-inference-systems-deep-dive.md
建议后续操作：
- 精读: ReFold 压缩算法源码（arXiv 2610.07863）
- 精读: vLLM vs SGLang benchmark（Winder.ai）全文，提取完整表格
- 主题页更新: inference-systems — 补充 KV cache 容量规划 + SGLang vs vLLM 2026 benchmark
- 主题页更新: agent-production — 补充硬件故障工程 + 运行时验证论文
本轮扫描完成 | Jay | 2026-10-13 10:50 CST