Jay 工程实践筛选报告 · 2026-07-21 19:50

筛选主题

LLM Agent Harness 工程实践 + Latency-Sensitive Benchmarking

候选条目总览（8个）

高价值条目详细分析

🔴 保留 #1：LatencySensitiveBench (LSB)

来源：GitHub: HaoKang-Timmy/LatencySensitiveBench + arXiv 2505.19481

为什么保留（工程密度最高）： - 真实可执行命令：python3 diambra -r $GAME_PATH -l python3 run_api.py --serving-choice huggingface --agent1 Qwen/Qwen3-4B --agent2 Qwen/Qwen3-8B --logdir "test.log" --device1 cuda:0 --device2 cuda:1 - 完整 benchmark 启动命令：cd ./HFTBench python3 Simulation.py --agent_count 1 --device_list cuda:0 - 硬件配置：RTX 5090 × 2，H100 - 量化精度实验：FP8 / FP4 / FP16 对比 - 真实性能数据：

核心工程洞察： - Qwen2.5 3B 在 FP4-FP8 自适应量化下，195ms 延迟即可达到 ELO 5.99，超越 7B FP16 的 -0.44 - HFT 任务 14B 模型 + 7.2bit 均值 = 713ms 达到 +26.52% 收益；纯 FP16 需 1302ms 反而只有 +17.20% - 关键教训：对 latency-sensitive 任务，更小的模型 + 更 aggressive 的量化，优于更大的模型 + 更精确的量化

保留理由：唯一同时提供量化命令、benchmark 启动脚本、硬件配置和性能对比表的 LLM agent latency 论文。数据可直接用于生产推理系统选型。

可信度：⭐⭐⭐⭐⭐（GitHub 星 + NeurIPS 2025 Spotlight + GitHub README 含完整评测命令）

🔴 保留 #2：Agentic Harness Engineering (AHE)

来源：arXiv 2604.25850

为什么保留： - 可验证的性能提升数字：Terminal-Bench 2 pass@1：69.7% → 77.0%（10次迭代） - 对比基线：human-designed harness Codex-CLI = 71.9%，AHE 超越人类设计 - 跨模型泛化性：SWE-bench-verified 上，frozen harness 迁移后 tokens 减少 12%，同时成功率提升 - 三支柱可观测性架构： 1. Component observability：文件级可编辑组件 + 可回滚 2. Experience observability：百万 token 轨迹压缩为层次化证据库 3. Decision observability：每次编辑配对自声明预测，事后验证

核心工程洞察： - harness 级别的自动进化可以弥补模型能力的不足（同一冻结模型通过 harness 优化 pass@1 从 69.7→77.0） - 跨 benchmark 泛化证明 evolved components 编码的是通用工程经验而非 benchmark-specific tuning

保留理由：提供了 harness 自动化演进的完整框架和可复现实验结果。揭示了"模型固定、harness 优化"的工程范式。

可信度：⭐⭐⭐⭐（arXiv 2026，有具体实验设置和数字）

🟡 保留（降级）#3：Building AI Coding Agents for the Terminal (OpenDev)

来源：arXiv 2603.05344

为什么保留（降级）： - 解决了三个真实工程挑战：context window 管理、destructive command 防护、capability 扩展 - dual-agent 架构：planning agent（规划） + execution agent（执行）分离 - lazy tool discovery：按需加载工具而非预加载全部 - adaptive context compaction：自动压缩历史 observations - 架构图清晰（scaffolding 阶段 + harness 运行时分离）

为什么不是最高优先级： - 没有具体性能数字表格（只有架构描述） - benchmark 名称和具体指标未在摘要中突出 - 更偏架构设计而非实验验证

保留理由：dual-agent + lazy discovery + adaptive compaction 的设计模式对构建持久化 coding agent 有直接参考价值。

可信度：⭐⭐⭐⭐（arXiv 2026，NVIDIA MLSys 2025 作者背景）

🟡 保留（降级）#4：From Question Answering to Task Completion: Survey on Harness Design

来源：arXiv 2606.20683

为什么保留（降级）： - 综述价值：系统梳理了 agent 工程四大范式演进（Prompt Engineering → Context Engineering → Harness Engineering → Agent-Native Training） - harness 六维运行时分解：observation、context、control、action、state、verification/governance - 提出核心问题："性能瓶颈在模型、在 harness、还是在耦合？" - 覆盖 Notion 100+ tools 生产案例（从 2022 到 2026 多次重构）

为什么不是最高优先级： - 综述文章，工程细节密度低于原生研究论文 - 部分结论来自 blogposts 和 survey 而非 peer-reviewed

保留理由：建立 Agent Harness 工程的完整术语体系和演进脉络，是理解整个领域的框架性文献。

可信度：⭐⭐⭐⭐（arXiv 2026，综述性质）

🟢 丢弃 #5：Code as Agent Harness

来源：arXiv 2605.18747

丢弃理由： - 同样是综述性质，Harness Interface / Mechanisms / Scaling 三层分类与 #4 高度重叠 - 缺乏具体命令、性能数据或可复现步骤 - 更多是概念框架而非工程实践

丢弃理由补充：本文与 #4 存在内容重叠，优先级低于更早发表的 #4（arXiv 2606 vs 2605，#4 更系统）。

🟢 丢弃 #6：Awesome-Agent-Engineering（GitHub）

丢弃理由： - 资源列表，无原创工程内容 - 同类资源（Awesome-LLM-Agent-Optimization-Papers）已有类似收录 - 不满足"真实环境、命令、错误、源码、性能数据"筛选标准

🟡 保留（降级）#7：Agent Harness Architecture in 2026: The Production Playbook

来源：Botlearn.ai

为什么保留（降级）： - 12-pattern 实用清单：plan → act → observe → verify → compact → continue 循环 - 框架对比表（OpenAI Responses API + Agents SDK / Anthropic Claude Code workflows / LangGraph） - 具体提到：strict tool schemas、bounded retries、per-step checkpoints、deterministic verification

为什么降级： - Blog post，无 peer-review - 部分内容与其他来源重复（Raj Nandanan blog 也覆盖类似内容）

保留理由：作为工程 checklist 和框架选型参考有价值。

🟢 丢弃 #8：Agent Harness Engineering vs Context Engineering vs Prompt Engineering（Raj Nandanan blog）

丢弃理由： - 概念梳理到位，但无原创实验数据 - LangChain 2025 数据（57% in production、89% with observability）来自 blog，非一手研究 - Notion 案例有参考价值但细节有限 - 与 #4 综述和 #7 Playbook 内容重叠

本轮筛选结论

最终保留（按优先级）

1. LatencySensitiveBench → 立即可用的 benchmark 命令 + 量化/延迟/收益数据表 → 推荐精读
2. Agentic Harness Engineering (AHE) → harness 自动进化框架 + pass@1 具体提升数字 → 推荐精读
3. OpenDev (Building AI Coding Agents for the Terminal) → dual-agent 架构 + adaptive compaction → 推荐审稿
4. Survey on Harness Design (arXiv 2606.20683) → 框架性综述，术语体系完整 → 主题页更新参考
5. Agent Harness Architecture in 2026: Production Playbook → 12-pattern 工程清单 → 工程 checklist 参考

分类标签

LLM-Agent Harness-Engineering Benchmark Latency-Optimization Quantization AHE OpenDev Context-Engineering Production-AI Terminal-Agent

建议写入路径

/shared/research-kb/inbox/jay/2026-07-21-1950-jay-engineering-filter.md  ← 本报告

后续行动建议

1. 精读 LSB → 提取 FPX 框架的 Qwen 量化配置细节，可补充到知识库 inference stack 页面
2. 精读 AHE → 提取三支柱可观测性实现细节，可补充到 agent-devops 实践页
3. OpenDev dual-agent architecture → 可作为 coding-agent 工程架构主题页的核心引用
4. Survey (2606.20683) → 建议纳入 Agent 工程演进时间线页面

筛选时间：2026-07-21 19:50 CST | 筛选者：Jay | 候选总数：8 | 保留：5（含降级）| 丢弃：3