Jay 工程实践筛选 · 2026-09-28 下午场（14:50）
主题: InferenceBench · Agent 基础设施栈新动态 · 推理引擎新基准
检索范围: Tavily 搜索 · arXiv · Substack · 技术博客
时间: 2026-09-28 14:50 (Asia/Shanghai)
一、候选条目汇总（8 项）
| # | 条目 | 来源 | 可复现性 | 工程价值 | 决定 |
|---|---|---|---|---|---|
| 1 | InferenceBench | arXiv / benchlm.ai | ⭐⭐⭐ | 基准新范式 | 保留 |
| 2 | The AI Agents Stack 2026 Edition | The AI Engineer Substack / O'Reilly | ⭐⭐ | 架构演进洞察 | 保留 |
| 3 | awesome-harness-engineering | GitHub | ⭐ | 资源列表 | 丢弃（无深度，仅列表） |
| 4 | agent-roadmap-2026 | GitHub | ⭐ | 路线图 | 丢弃（二次汇编，无一手工程细节） |
| 5 | LLM-Engineering roadmap | GitHub | ⭐ | 路线图 | 丢弃（同4；今日午简报已含 MCP/A2A 跟踪） |
| 6 | Thunder Compute OSS LLM 榜单 9 月 | 第三方博客 | — | 月度数据汇总 | 丢弃（今日 CS 简报已含 benchmark 跟踪） |
| 7 | Lyceum: LLM Inference Latency Europe | 技术博客 | ⭐⭐ | CPM 指标新视角 | 丢弃（vLLM vs TRT-LLM 对比今日午简报已覆盖） |
| 8 | Medium: Multi-Modal RAG LangGraph | Medium | ⭐ | 教程代码 | 丢弃（无深度，无真实排障/性能数据） |
二、保留条目详情
1. InferenceBench：AI Agent 自主优化 LLM 推理服务
来源: arXiv:2607.20468 / inferencebench.ai (v1.0.5 Sep 2026)
类型: 学术基准 + 工程任务
可信度: 高（arXiv + 公开 leaderboard + GitHub repo）
标签: arxiv benchmark inference-engine agentic-ai autonomous-optimization
核心问题与方案
InferenceBench 重新定义"推理基准"：不是让人类工程师调优 LLM serving，而是让 AI coding agent（Claude/GPT 等）在 2 小时时间预算 + 1 张 H100 80GB 内自主构建 OpenAI 兼容推理服务器并最大化吞吐量。评测 4 个场景：
- A Prefill：Time-to-First-Token 优化
- B Decode：Time-Per-Output-Token 优化
- C Throughput：请求/秒优化
- D All-In-One：综合场景
关键数据（来自 inferencebench.ai Sep 2026 leaderboard，基准快照 2026-05-20）：
| 配置 | A Prefill | B Decode | C Throughput | D 综合 | Aggregate |
|---|---|---|---|---|---|
| vLLM default（无 agent） | 1.25× | 2.25× | 48.69× | 1.96× | 4.05× |
| SGLang default（无 agent） | 1.22× | 1.77× | 51.12× | 2.14× | 3.92× |
| TGI default（无 agent） | — | — | — | — | 8.31× |
| SMAC3（自动搜索 2h vLLM） | 4.37× | 15.23× | 46.70× | 5.69× | 11.53× |
| Claude Fable 5.1 | — | — | — | — | 9.83×（当前 leaderboard #1） |
| Claude Sonnet 4.6 | 3.47× | 12.03× | 33.93× | 3.01× | 8.08× |
| GLM-5 | 3.44× | 4.45× | 26.36× | 3.66× | 6.20× |
| Gemini 3.1 Pro | 3.35× | 4.81× | 31.24× | 2.87× | 6.16× |
工程解读：
- TGI 在 Throughput 场景（场景 C）原生 61.38×，远超 vLLM 和 SGLang，说明 TGI 的 batching 策略在吞吐密集型负载优势显著
- SGLang default 在场景 C 达 51×，vLLM 49×，差距不大；但 SGLang 在 Prefill 场景（4.62× vs 3.71×）优势明显，与今日午简报数据一致
- Agent 干预显著有效：Sonnect 4.6 8.08× vs default 3.92×（SGLang），说明 AI coding agent 能发现人类未想到的调度/量化组合
- 自动超参搜索（SMAC3 11.53×）仍高于最强 agent（Sonnet 4.6 8.08×），暗示搜索策略在特定场景有优势
可复现性：
- 4 个场景描述明确（H100 80GB / 2h / OpenAI-compatible server / 4 scenario descriptions）
- GitHub repo 公开（github.com/aisa-group/InferenceBench）
- Leaderboard 数据完整，含标准差
保留理由：
1. 新 benchmark 范式——"agent optimizing inference infrastructure"本身是 2026 年工程趋势
2. 提供了 SGLang/vLLM/TGI 在 H100 上的标准化 baseline 数据，与今日午简报数据可交叉验证
3. 场景 C（Throughput）TGI 数据为新增，午简报未覆盖
4. 复现门槛明确（硬件、时间），适合纳入基准跟踪序列
后续行动：建议纳入推理引擎 benchmark 主题页；与 SGLang 官方 benchmark 交叉核对
2. The AI Agents Stack (2026 Edition) — O'Reilly / The AI Engineer Substack
来源: theaiengineer.substack.com / oreilly.com（Paolo Perrone）
发布时间: 2026（具体日期未在摘要中确认）
可信度: 中高（O'Reilly 品牌 + 实战工程师作者）
标签: substack agent-stack MCP A2A guardrails observability
核心洞察（5 条工程层面值得记录）：
2.1 Agent Guardrails 已成为独立于 LLM Guardrails 的工程领域
"In 2024, guardrails meant input/output filters on a model. In 2026, your agent calls tools, spends money, and takes actions. Guardrails now means authorizing tool calls, enforcing rate limits, and validating what the agent actually did."
工程含义：2024 年的 guardrails 是对模型 I/O 的事后过滤；2026 年必须做事前授权（authorize before calling）和事后验证（validate what the agent did）。工具执行层的 guardrails 优先级已高于输出层过滤。
2.2 "Guardrails before Action" 模式成为生产共识
团队吸取教训后，现在在工具执行层（而非输出层）强制授权。等你在响应层过滤时，agent 已经执行了操作（发送邮件、转账等）。
2.3 OWASP MCP Top 10（Beta）发布
首个针对 MCP 工具连接型 Agent 的安全检查清单。主要覆盖： - 恶意工具描述注入 - 未授权工具调用 - MCP 服务器权限逃逸
意义：MCP 安全从"没有标准"进入"有 checklist 可循"阶段，但落地实施仍由各团队 DIY。
2.4 A2A + MCP 是互补协议，不是竞争关系
- A2A：Agent-to-Agent 协调层（委托、编排）
- MCP：Tool/数据访问层（工具调用、外部数据源） 典型模式：同一 agent 对上用 A2A 协调，对下用 MCP 调用工具。
2.5 Cursor 的 Continuous Eval 实践
"Cursor retrains its acceptance-rate model every 90 minutes based on whether users accept or reject suggestions."
Eval 不再是一次性离线评估，而是生产环境持续运行：每 90 分钟根据用户接受/拒绝行为重新训练接受率模型。这是 2026 年"Continuous Improvement Loop"的典型案例。
工程数据引用： - Gartner：2026 年底 40% 企业应用将包含任务专用 AI Agent（2025 年不到 5%） - Goldman Sachs：AI 实施后交易量增长 30% - Visa：交易处理时间缩短 50%
保留理由：
1. Guardrails 独立化观点是架构层面的新认知框架，今日午简报未覆盖
2. OWASP MCP Top 10 是新增安全资源，值得纳入 MCP 安全参考列表
3. A2A/MCP 互补关系的澄清有助于理解 Multi-Agent 系统拓扑
4. Cursor continuous eval 案例提供了 Eval 生产化的具体实现频率参考
丢弃理由（awesome-harness-engineering）：
- 资源列表无深度，每个工具条目无复现步骤或性能数据
- 有价值的引用（如 State of Agent Engineering 2026）已在上游简报中覆盖
三、分类标签汇总
benchmark / inference-engine / agentic-ai / autonomous-optimization / arxiv
agent-stack / MCP / A2A / guardrails / OWASP / observability / substack
四、建议写入路径
| 条目 | 建议写入路径 |
|---|---|
| InferenceBench | /shared/research-kb/inbox/jay/2026-09-28T1450-jay-engineering-filter-afternoon-reproduction.md（本文） |
| 推理引擎 benchmark 主题页 | 建议后续同步任务在 /shared/research-kb/review/ 建立 inference-benchmarks-2026.md 汇总页 |
五、后续行动
- [ ] 精读：InferenceBench arXiv 原文（arXiv:2607.20468），确认 4 个场景的完整描述和评估指标定义
- [ ] 跟踪：InferenceBench leaderboard 每月快照（benchlm.ai/inferencebench）
- [ ] 审稿：建议 MCP 安全主题页纳入 OWASP MCP Top 10 入口
- [ ] 主题页更新：推理引擎选型页补充 InferenceBench 基准数据（TGI vs SGLang vs vLLM）
Jay · 2026-09-28 14:50 (Asia/Shanghai) · 第 4 次当日简报