Jay 工程筛选报告 · 2026-08-04 10:50

筛选范围

arXiv (cs.SE/cs.LG/MLSys)、GitHub、HuggingFace、Substack、技术博客

✅ 保留条目（高工程价值）

1. arXiv:2605.20173 — 生产级 LLM Agent 运行时架构模式方法论

主题：LLM Agent 架构设计方法论 URL：https://arxiv.org/abs/2605.20173 可信度：⭐⭐⭐⭐⭐（顶会投稿，基于真实生产框架审计） 领域：LLM Agent 架构 / 软件工程方法论

核心贡献： 论文提出了 Stochastic-Deterministic Boundary (SDB) 概念——将 LLM Agent 的随机核心与确定性系统之间的组合界面正式命名并形式化。SDB 由四部分构成： 1. Proposer（提议者）：LLM 本身 2. Verifier（验证器）：对提议进行确定性检查 3. Commit Step（提交步骤）：验证通过后的持久写操作 4. Reject Signal（拒绝信号）：验证失败时返回给 Proposer 的类型化响应

论文审计了 5 个主流开源框架（OpenClaw、LangChain、AutoGPT、RooCode、Letta）中 SDB 的实现形态，归纳出 6 种运行时架构模式（2026 Q2 数据：Claude Sonnet 4.6）。

关键工程洞察： - 大量"模型失败"本质上是架构选择错误，非模型缺陷 - 举了 3 个真实失败案例：工作流状态错误、90% 折扣漏洞、长期任务丢失位置 - 引入"架构动量（architectural momentum）"和"回放分歧（replay divergence）"概念

是否可复现：方法论层面，非代码复现；有框架审计清单可参考

保留理由：首个系统命名并方法化 LLM Agent 随机-确定性边界的研究，直接指导生产架构决策；5 框架审计有实战参考价值。

标签：LLM-Agent 架构设计 SDB 生产工程 方法论 建议行动：精读原文，结合 OpenClaw 自身 Agent 架构对照 SDB 模型

2. USENIX OSDI 2026 — StriaTrace：在线 LLM 推理高效追踪与诊断

主题：LLM 推理 Tracing 系统（Alibaba 生产部署） URL：https://www.usenix.org/system/files/osdi26-wu-haonan.pdf 可信度：⭐⭐⭐⭐⭐（OSDI 2026 正式论文，阿里巴巴生产环境） 领域：LLM 推理工程 / 可观测性

核心贡献： Alibaba 团队在 6 个月生产环境中开发的 LLM 推理追踪系统 StriaTrace，解决了在线推理服务中 tracing 开销与诊断精度之间的矛盾。

工程数据： - SLO 指标：TTFT 5-10s，TPOT 50-100ms - 模型：Qwen3-Coder-30B-Instruct-FP8（MoE 模型，FP8 量化） - 部署：PD disaggregated 架构（Prefill/Decode 分离），TP=8 × 2 实例 - KV cache 通过自定义分布式组件互联 - 压测工具：vLLM native benchmark，Poisson 到达率

技术细节： - 上游 vLLM 6 个月内关键路径仅发生一次重大变更（同步→异步调度），说明核心路径稳定性 - 使用 Scalene 进行 GPU profiling（论文含命令配置片段） - 追踪开销控制有具体工程取舍描述

是否可复现：有命令片段：--profiler-config '{"profiler": "torch", "torch_profiler_dir": "\\path\\to\\save"}'、--profile-torch --profile-step-start 50 --profile-step-end 9999999 --profile-prefill-and-decode

保留理由：OSDI 论文 + 真实生产环境 + 精确 SLO 数字 + vLLM 压测命令；推理工程可观测性领域的稀缺一手经验。

标签：LLM-推理 可观测性 Tracing vLLM SLO PD-disaggregation OSDI2026 建议行动：原文精读，提取 TTFT/TPOT SLO 定义和 vLLM profiling 命令片段

3. GitHub: patchy631/time-to-first-token — LLM 推理服务 10 周路线图

主题：LLM 推理工程实践学习路线 URL：https://github.com/patchy631/time-to-first-token 可信度：⭐⭐⭐⭐（实操路线图，开源，有具体命令和环境） 领域：LLM 推理工程 / MLOps / vLLM / SGLang

内容亮点： 50 个 30 分钟sessions，产出单一 artifact：OpenAI 兼容推理服务，可在租用 GPU 上部署、仪表化、负载测试超 1000 并发、经量化+投机解码优化、加成本感知路由、发布可复现基准。

每周关键命令/步骤节选： - Week 4：vllm serve + Prometheus/Grafana；学习 num_requests_running、num_requests_waiting、延迟直方图的实际含义 - Week 5：genai-perf 并发 sweep（1/2/4…128），找吞吐饱和拐点；租用 H100 压测 1000 并发，观察 KV cache 利用率和 preemption - Week 7：Mooncake（FAST 2025 best paper）+ SGLang PD disaggregation 对比；用 num_requests_waiting 而非 CPU 驱动 autoscaling - Week 8：vLLM production stack Helm charts 部署；Databricks + NVIDIA benchmarking fundamentals 对齐 metrics

是否可复现：完全可复现，有具体命令：genai-perf concurrency sweep、vllm bench serve --ignore-eos --seed --num-prompts --percentile-metrics

保留理由：目前最完整的 LLM 推理工程实战路线图，覆盖从部署到优化的全链路；命令和环境具体，工程师友好。

标签：LLM-推理 vLLM SGLang 量化 基准测试 MLOps 可复现 建议行动：可直接作为内部培训路线图参考；提取关键命令到工具箱

4. arXiv:2607.26571 — From Tokens to Watt-hours：现代 GPU 上 LLM 推理的解析能耗估算

主题：LLM 推理能耗建模 URL：https://arxiv.org/abs/2607.26571 可信度：⭐⭐⭐⭐⭐（ECML-PKDD 2026 GREEN-AI Workshop oral，20 页，6 表） 领域：LLM 能耗 / 绿色 AI / GPU 性能建模

核心贡献： 解析式能耗估算，无需实际测量即可估算 LLM 推理在现代 GPU 上的能耗和功耗。cross-listed: cs.LG + cs.SE。

工程价值： - 可在部署前评估不同 batch size、序列长度、量化精度下的能耗 - 支撑成本估算和碳足迹计算 - 对 vLLM/SGLang 调度策略有直接影响（能耗感知调度）

是否可复现：论文含数学模型和表格数据，需进一步核验 GitHub 复现包

保留理由：GREEN-AI 方向稀缺的实际可部署模型，非模拟；与推理引擎调度直接相关；跨 SE/LG 双领域。

标签：LLM-推理 能耗建模 GREEN-AI GPU ECML2026 碳足迹 建议行动：查 GitHub 是否有配套代码；考虑与 vLLM/SGLang 能耗感知的集成可能

5. arXiv:2607.24000 — 工业实践：LLM 测试用例生成与断言生成

主题：LLM 生成测试用例的工业实践 URL：https://arxiv.org/abs/2607.24000 可信度：⭐⭐⭐⭐⭐（ISSTA 2026 经验论文，23 页，6 图，ACM SIGSOFT） 领域：软件测试 / AI 代码生成 / LLM 工程实践

核心贡献： 来自工业界的 LLM 测试用例生成和断言生成实践经验论文（Experience Paper），发表在 ISSTA 2026——软件测试领域顶级会议。

为何重要： 经验论文（vs 研究论文）：来自真实工业部署，而非实验室模拟。有完整复现包。

保留理由：ISSTA 2026 唯一以"Industrial Practice"命名的 LLM+测试论文；稀缺的一手工业经验；值得工程团队精读。

标签：LLM-测试 AI-代码生成 软件工程 ISSTA2026 工业实践 建议行动：下载论文精读；评估是否可转化为团队内部测试流程

6. Gemma 4-12B Kernel 优化：击败 vLLM 和 llama.cpp

主题：Gemma4-12B 自定义 CUDA kernel 性能优化 URL：https://ai.gopubby.com/beating-vllm-and-llama-cpp-on-gemma4-12b-68a8412f57ea 可信度：⭐⭐⭐⭐（详细 kernel 级别基准测试，有具体数字和命令） 领域：CUDA kernel / LLM 推理优化 / Gemma

核心工程数据： - 测试日期：2026-07-27，RTX 4090 - 139 个 FP16 形状的 per-kernel 加速数据 - 基准命令：vllm bench serve --ignore-eos --seed --num-prompts --percentile-metrics - 与 vLLM、llama.cpp（F16 GGUF）、PyTorch eager 对比 - 自定义 kernel "emmy" 在 sliding/global 分层注意力和 1024-token local span 上的优化 - 4 个 fused norm→linear megakernel 在 accuracy check 中失败的实际问题

工程亮点： - 精确到 kernel 形状（m64/m2048 fused forms）的 accuracy check 失败记录 - MLPerf Inference Rules 基准卫生标准 - Gemma 4 技术报告引用（local-to-global attention 5:1 interleaving，1024-token local span）

保留理由：罕见的 kernel 级别 Gemma 4 推理优化实战数据；accuracy check 失败经验有实操价值；vllm bench serve 命令可直接复用。

标签：Gemma4 CUDA kernel优化 vLLM llama.cpp 推理优化 RTX4090 建议行动：作为推理优化工程师的内部分享材料；提取 vllm bench serve 命令参数

7. NVIDIA 官方教程：vLLM / SGLang / TRT-LLM 控制钩子

主题：LLM 推理服务器的 Benchmarking 与控制钩子 URL：https://docs.nvidia.com/aiperf/dev/tutorials/load-patterns-scheduling/control-hooks-by-server-v-llm-sg-lang-trt-llm 可信度：⭐⭐⭐⭐（NVIDIA 官方文档，2026） 领域：LLM 推理基准测试 / 负载调度

工程价值： NVIDIA 官方提供 vLLM、SGLang、TensorRT-LLM 三引擎统一的控制钩子教程，可用于： - 精确控制 Prefill/Decode 调度 - TTFT 和 ITL 独立调优 - 负载模式识别

保留理由：NVIDIA 官方权威文档；跨引擎对比；可直接转化为内部基准测试 SOP。

标签：vLLM SGLang TensorRT-LLM NVIDIA 基准测试 调度 建议行动：作为团队基准测试 SOP 参考；补充到 inference 工程知识库

❌ 丢弃条目

本次写入路径

/shared/research-kb/inbox/jay/2026-08-04T1050-jay-engineering-filter.md

高价值条目汇总

建议精读优先级：2 (StriaTrace) > 3 (路线图) > 6 (Gemma kernel) > 1 (SDB方法论) > 4 (能耗) > 5 (ISSTA) > 7 (NVIDIA)

主题标签：LLM-Agent 推理工程 vLLM SGLang RAG 可观测性 Benchmark 能耗 CUDA MLOps