Jay 工程实践筛选报告 · 2026-07-09

本次主题

LLM Inference / Serving 工程 + Agent Harness 工程本周高质量条目

检索范围

• arXiv (本周新提交 + 近期高相关)
• Lil'Log / Substack 工程专栏
• GitHub trending
• 关键词: inference serving, harness engineering, memory, KV cache, agent loop

✅ 保留条目（高工程价值）

1. Akashic: A Low-Overhead LLM Inference Service with MemAttention

来源: arXiv 2607.05708 类型: 论文 + 开源实现 保留理由: - 真实代码基础：基于 vLLM v0.10.0 扩展 control path，实现细节具体 - 核心机制：MemAttention 将上下文组织为 bounded chunks，建 cross-chunk inference（受 Claude Code 启发） - 性能数据具体：任务准确率+10.2pts，吞吐量 1.21×，可持续请求率 1.88×（4个工作负载 × 3种模型规模） - 架构设计：memory retrieval 插入 request admission 层，write-back 插入 completion 层，物理布局维护分离为在线 relocator + 后台存储管理器 - 代码将合入 RedKnot 框架的 alternate branch

可信度: 高 — arXiv 2026-07，有代码出处 需核验: MemAttention chunk compaction 具体算法；RedKnot branch 地址

2. Think Before You Grid-Search: Floor-First Triage for LLM Serving

来源: arXiv 2607.05876 类型: 论文方法论 保留理由: - 极强工程方法论：反对盲 grid search，提出"先算 floor 再决定是否需要 profiling"的系统化工学流程 - 具体硬件分析案例：DeepSeek-V3.2-style 671B MoE/MLA on 16× NVIDIA H20，ridge point ~74 FLOP/byte vs ~590 for H100 - 真实数字：TP16 batch=64, 8K context → KV-capacity-limited ~70 concurrent requests；EP16+DP-attention → ~644 requests capacity wall - 单流延迟：TP 比 EP 好 2.4× - 输出：zero-dependency floor calculator + agent skill（可直接集成到 agentic optimization loop） - 与 SGLang/vLLM/TensorRT 的定位关系明确

可信度: 高 — arXiv 2026-07，硬件数据具体 需核验: floor calculator 开源地址；H20 实际生产部署数据

3. OmniPilot: Uncertainty-Aware LLM Inference Advisor for Heterogeneous GPU Clusters

来源: arXiv 2607.01579 类型: 论文 + 系统设计 保留理由: - 填补工程空白：多租户异构 GPU 集群的 inference workload 调度问题（生产级别） - 核心创新：conformal calibrated quantile cost model + OOD abstention layer + cluster-wide launch-success prior + regression-gated update loop - 系统定位清晰：作为 macro-level planner，补充 vLLM/SGLang/TensorRT 等 hardware-level 引擎 - 引用完整：DistServe, Splitwise, Llumnix 均在参考文献中，说明工程脉络清晰 - placement regret 降低一个数量级

可信度: 高 — arXiv 2026-07 需核验: 与 Ray/SLOC 调度的集成方式；具体 utility function 设计样例

4. Harness Engineering for Self-Improvement | Lil'Log

来源: https://lilianweng.github.io/posts/2026-07-04-harness 类型: 工程博客 / 综述 保留理由: - Lilian Weng 是 OpenAI 安全团队，长期工程输出稳定 - Self-Harness 核心机制：propose-evaluate-accept loop，agent 改进自己的 harness - 实测数据：Terminal-Bench-2 上 MiniMax M2.5 / Qwen3.5-35B-A3B / GLM-5 均通过 self-harness 提升 pass rate - 明确 6 个 failure modes 对工程实践有直接指导价值 - 安全边界问题明确提出：editable surface / permission control / security layers 的设计要求 - 引用具体：Trehan & Chopra arXiv:2601.03315（"Why LLMs Aren't Scientists Yet"），Zhang et al. Self-Harness arXiv 相关

可信度: 高 — 知名工程作者，引用可查 需核验: Self-Harness 开源实现；Hyperagents arXiv:2603.19461

5. The Engineering Economics of GPU Portability

来源: The Innovation Attorney (Substack) 类型: 工程经济分析 保留理由: - 极罕见的生产数据：AMD MI300X 推理成本 $22/M tokens vs NVIDIA H100 $28/M tokens（21% savings） - MLPerf 2026 April 数据支撑：AMD MI355X 匹配 NVIDIA B200 - 工程可行性具体：PyTorch + Triton + vLLM 跨厂商迁移工期"weeks to a few months" - 商业数据：OpenAI 2025年10月承诺 6GW AMD，Meta 2026年2月签 6GW AMD - 清晰定义 hardware abstraction layer for AI 概念

可信度: 高 — 有具体价格数字和来源 需核验: MLPerf 2026 April 完整报告；实际迁移工程案例

6. R2PO: Decoupling Rollout and Inference Policies for LLM Reasoning

来源: arXiv 2601.11960 类型: 论文方法论 保留理由: - 核心工程洞察：RL for LLM reasoning 中，rollout policy 和 inference policy 应为两个不同设计目标的独立对象 - rollout policy 优化"diverse, exploratory, occasionally erroneous trajectories"以提供梯度信号 - inference policy 优化"accurate, consistent, deployed responses" - R2PO 引入 Rollout-Head 来 reshape 采样分布，而非移动参数 footprint（与 LoRA 等 PEFT 对比清晰） - PEFT 移动参数 footprint，R2PO 移动轨迹分布——概念区分有工程价值

可信度: 高 — arXiv，有明确方法论 需核验: R2PO 具体训练配置；与 GRPO/TRPO 的集成对比

7. TO-Master: LLM-Agent Framework for Automated Topology Optimization

来源: arXiv 2607.01812 类型: 跨学科工程应用 保留理由: - LLM agent + 工程物理仿真的具体结合案例（拓扑优化） - 端到端工程流程：mesh preparation → BC preview → passive-domain → solver config → optimization → postprocessing - typed tool calls + deterministic numerical modules 的架构设计有参考价值 - 对工程优化的价值定位：reduce manual burden of TO problem setup - 未来扩展方向明确： richer human-agent interaction, extensible tool layer, broader industrial cases

可信度: 中高 — arXiv，有具体框架描述 需核验: TO-Master 开源地址；具体工具调用数量和类型

8. awesome-harness-engineering

来源: GitHub ai-boost/awesome-harness-engineering 类型: 精选资源列表 保留理由: - 分类清晰：Agent Loop / Tool Design / Foundations / Security-Sandbox-Permissions / Templates - 引用 RUCAIBox/awesome-agent-harness（500+ 参考文献） - VoltAgent/awesome-ai-agent-papers：363+ arXiv 2026 papers，5个分类（Multi-Agent/Memory-RAG/Eval/MCP/Agent Security） - bradAGI/awesome-cli-coding-agents：80+ CLI coding agents + harnesses - 有 AGENTS.md template 可直接参考

可信度: 高 — 开源社区维护 需核验: 各子 repo 的实际 star 数和活跃度

❌ 丢弃条目

📋 分类标签

inference-serving harness-engineering memory-systems kv-cache agent-loop gpu-scheduling profiling topology-optimization

📁 建议写入路径

/shared/research-kb/inbox/jay/2026-07-09-engineering-roundup.md

🔍 后续行动建议

精读优先级： 1. Floor-First (arXiv:2607.05876) — 方法论可直接工程化，floor calculator 值得找源码 2. Akashic (arXiv:2607.05708) — vLLM 扩展案例，MemAttention chunk 设计值得细读 3. Harness Engineering (Lil'Log) — 6个 failure modes 和 security boundary 对 agent 工程直接有用

审稿建议： - Floor-First 和 Akashic 可合并为一个"LLM Serving 优化方法论"主题页 - GPU Portability 经济数据适合单独建立"AI Infra Cost Engineering"参考页

主题页更新候选： - 新增：LLM Serving Profiling / Floor-First Methodology - 更新：Agent Harness Engineering（整合 Lil'Log + awesome-harness-engineering） - 更新：GPU Cost Engineering（整合 AMD vs NVIDIA 经济数据）