工程筛选报告 · Jay · 2026-07-03 上午

主题：Harness Engineering + Agent Loop 执行架构 + Agent Observability 近期工程文献筛选 检索范围：arXiv · GitHub · Hugging Face · Substack RSS · Tavily Web Search 时间窗口：本周（2026-06-27 ~ 2026-07-03）

一、保留条目

✅ R-01：awesome-harness-engineering（GitHub · CC0 License）

URL：https://github.com/ai-boost/awesome-harness-engineering 类型：精选资源列表（awesome 类）

保留理由： - 系统性梳理了 2026 年 Agent Harness 工程全栈：Task Runner、Verification & CI、Observability & Tracing、Debugging DX、Security Sandbox、Evals - 包含具体工程工具及其量化数据： - AgentTrace（2026-03）：因果图追踪，0.12 秒定位根因（比 LLM 快 69 倍），准确率 93.6–95.8%，550 个合成失败场景 - Braintrust：$80M Series B，Full-trace 搜索无采样，Stripe/Notion/Dropbox 生产使用 - OpenObserve：LLM tracing + infrastructure log/metric 统一，Braintrust 替代方案 - Red Hat · Distributed Tracing for Agentic Workflows：OpenTelemetry 跨路由/专家 Agent/MCP 服务传播（2026-04-06） - 关键概念：Scheduler-Theoretic Framework（2026-04）：分析了 70 个开源项目，60% 采用 Agent Loop 模式，其他模式包括 Event-driven、State-machine、Graph/Flow、Hybrid；提供了模式选择矩阵 - VeRO：版本化 Agent 快照 + 预算控制评估 + 结构化执行追踪，解决 Agent-on-Agent 优化循环的元评估问题 - nah：Intent-level permission guard（filesystem_delete、network_outbound、lang_exec 等），按 intent 而非命令名做安全决策，可复现性强 - AgentSPEX（UIUC）：声明式 YAML + Docker sandbox + 50+ MCP tools + checkpointing + trajectory logging

可信度：高。工具来源可查，数字可复现，CC0 license 无归属问题。 是否需要精读：是。建议重点追踪 AgentTrace 和 Scheduler Framework 相关论文，验证 0.12s 数字。

✅ R-02：Dive-into-Claude-Code（GitHub · VILA-Lab）

URL：https://github.com/VILA-Lab/Dive-into-Claude-Code 类型：系统性逆向工程分析

保留理由： - 架构级分析：5 层子系统分解，9-step turn pipeline（Settings resolution → State init → Context assembly → 5 pre-model shapers → Model call → Tool dispatch → Permission gate → Tool execution → Stop condition） - 安全层细节：7 层安全防御，Authorization pipeline（Pre-filter → PreToolUse hooks → Deny-first → Permission handler × 4 branches），yoloClassifier.ts 双阶段分类 - CVE 级漏洞："Defense-in-depth degrades when layers share constraints. Per-subcommand parsing causes event-loop starvation -- commands exceeding 50 subcommands bypass security analysis entirely" - 双执行路径：StreamingToolExecutor（流式边执行边返回）+ runTools（fallback，分类为 concurrent-safe 或 exclusive） - 抗蒸馏机制：Anti-distillation 设计，Undercover Mode，~250K wasted API calls/day - Skills & Harness Extensions 生态：mattpocock/skills（2026），lsdefine/GenericAgent，OpenCode，badlogic/pi-mono（OpenClaw 嵌入 pi-coding-agent SDK）

可信度：高。源码级分析，架构描述精确。 是否需要精读：是。安全 Pipeline 和 9-step pipeline 值得直接引用到 Harness 设计文档。

✅ R-03：LLM-as-Code: Agentic Programming for Agent Harness（arXiv:2606.15874）

URL：https://arxiv.org/html/2606.15874v1 类型：arXiv 论文（Position/Architecture）

核心主张： - 批评主流范式：ReAct loop 中 LLM 同时控制"执行决策"和"判断步骤"，导致 stochastic drift - 核心区分：Deterministic（loop/branch/sequence/variable/error handling）vs Probabilistic（NL understanding/summarization/code generation/judgment） - 主张：LLM 只负责 Probabilistic 部分（判断），Deterministic 执行由代码控制 - 实测：OSWorld GUI 86.8% vs 最高竞品 80.4%（+6.4 pts）；所有步骤以代码定义，消除跳过/重复/乱序 - 关键论断："failures localize to a named call's return value rather than a turn in a fifty-step transcript"

保留理由： - 架构论证清晰，性能数据具体（86.8% OSWorld），与 Claude Code 架构分析相互印证 - 直接挑战了 Agent Loop 范式，对 Harness 设计有指导意义

可信度：中-高。arXiv v1，2026-06-16，未正式发表，但分析严谨。 是否需要精读：是。Benchmark 数字需核实 OSWorld 官方 leaderboard。

✅ R-04：Agent-Native Immune System: Architecture, Taxonomy, and Engineering（arXiv:2606.28270）

URL：https://arxiv.org/html/2606.28270v1 类型：arXiv 论文（Taxonomy/Survey）

核心贡献： - 提出 Agent 工程五范式演进：Prompt Engineering → Context Engineering → Intent Engineering → Harness Engineering → Loop Engineering - Self-harness 机制：Weakness Mining（从执行 trace 识别安全失败模式）→ Harness Proposal（生成最小化防御编辑）→ Proposal Validation（回归测试） - 与当前 Agent 安全评估直接相关

保留理由： - 五范式演进框架对理解 Agent 系统工程史有梳理价值 - Self-harness 迭代闭环设计有工程参考价值

可信度：中。arXiv，2026-06-28。 是否需要精读：中。可作为参考框架引用，不需要深挖源码。

✅ R-05：Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters（arXiv:2605.00528v2）

URL：https://arxiv.org/pdf/2605.00528 类型：arXiv 论文（Systems/Scheduling）

核心贡献： - 指出 Agent workloads 三大特性与现有 GPU 调度器不匹配：Sequential dependency with variable gaps / Long-running stateful sessions / Semantic sequentiality → Physical serialization - 当前框架（如 vLLm/SGLang）优化 request-level 指标（TTFT/throughput），不适用于 multi-turn agent sessions - 提出 Workflow-atomic scheduling 解决 semantic sequential 下的物理并行化问题

保留理由： - 触及 LLM Serving 系统的核心调度矛盾，工程价值高 - 与 Continuum（arXiv:2511.02230）等 KV Cache TTL 调度研究形成呼应

可信度：高。arXiv v2，2026-06-19，引用完整（LLM Serving 经典工作均有引用） 是否需要精读：是。GPU 集群调度工程师重点关注。

✅ R-06：Evidence Tracing and Execution Provenance in LLM Agents（arXiv:2606.04990）

URL：https://arxiv.org/html/2606.04990v1 类型：arXiv 论文（Provenance/Tracing）

核心贡献： - 将 W3C PROV-DM 和 OpenTelemetry 标准适配到 LLM Agent 执行追踪 - 对比框架：AutoGen / CAMEL / AgentTrace 的 provenance 能力矩阵

保留理由： - 与 awesome-harness-engineering 中的 observability 工具链形成技术上下文 - PROV-DM 映射对构建可审计 Harness 有直接参考价值

可信度：中。arXiv，2026-06-09。 是否需要精读：中。工具参考价值，可与 AgentTrace 工具配合使用。

✅ R-07：Knowledge-Based Zero-Replay Debugging of Multi-Agent LLM Traces（arXiv:2606.14805）

URL：https://arxiv.org/pdf/2606.14805 类型：arXiv 论文（Debugging/SE）

核心贡献： - Zero oracle-replay cost 的 gradient-boosted predictor，在 held-out trace families 上将 Branch Recall@5 从 0.73 提升到 0.93 - 量化分析 cheap graph centrality 何时够用、何时需要 learned evidence - 特征工程：从 trace 家族中提取结构化特征，cost-accuracy frontier 可审计

保留理由： - 性能数据具体（0.73 → 0.93 Recall@5），可验证 - 与 AgentTrace（因果图定位）功能有重叠但方法不同（learning-to-rank vs causal graph）

可信度：中-高。2026-06-11。 是否需要精读：中。建议与 AgentTrace 对比阅读，了解 trace debugging 的两条技术路线。

✅ R-08：A Deterministic Control Plane for LLM Coding Agents（arXiv:2606.26924）

URL：https://arxiv.org/html/2606.26924v1 类型：arXiv 论文（Governance/Control Plane）

核心贡献： - Rel(AI)Build 三平面架构：Authoring & Distribution Plane / Execution Plane / Governance Plane - Node.js 实现参考 - MCP server + CLI 接口 - 引用 NIST AI RMF 1.0、NIST CAISI（2026-02）等合规框架

保留理由： - 与 Agent-Native Immune System 的 Loop Engineering 概念互补 - 合规框架引用对金融/企业场景有参考价值

可信度：中。 是否需要精读：中。架构参考，不要求实现级细节。

✅ R-09：LLM Agents Are Latent Context Managers（arXiv:2606.30005）

URL：https://arxiv.org/html/2606.30005v1 类型：arXiv 论文（Context Management）

核心贡献： - 提出 EMem-style 和 Mem0-style 本地适配器 - VISTA variants：上下文状态元数据 + 精确证据恢复 - 与 Claude Code（May 6, 2026 release）集成做 baseline 对比 - AMA-Bench 评测

保留理由： - Context overflow 是生产 Agent 的核心痛点，工程价值高 - Claude Code 集成提供真实 harness 行为对比数据

可信度：中。 是否需要精读：中。Context 管理专项研究。

✅ R-10：Agentic Hardware Design as Repository-Level Code Evolution（arXiv:2606.28279）

URL：https://github.com/VILA-Lab/... 类型：arXiv 论文（SE/Hardware）

核心贡献： - AlphaEvolve → SATLUTION → ABCEvo 演进路径：算法内核 → SAT-solver 仓库 → ABC EDA 逻辑合成 - 协调式 LLM Agent 演化框架，版本控制作为 scaffolding

保留理由： - Git-based phylogenetic graph vs shared memory/message passing 对比有方法论价值 - 与 Git Context Controller、EvoGit 形成工程参照

可信度：中。 是否需要精读：低-中。主要是概念框架，实际工具链依赖 ABC/SAT 特定生态。

二、丢弃条目

❌ D-01：The $300k Blueprint: How to Become an AI Engineer in 2026

来源：javarevisited.substack.com 丢弃理由： - 纯职业路线图，无工程细节，无命令/源码/性能数据 - 内容为通用 LLM/RAG/Agent 概念罗列，无版本、环境、命令或可复现步骤 - 与已有知识库中大量雷同内容重复

❌ D-02：I Found the Perfect AI Engineering Resource for Developers

来源：javarevisited.substack.com 丢弃理由： - 付费课程推广文，无实质工程内容 - 无源码分析，无 benchmark，无可复现步骤 - 属引流内容，非技术洞察

❌ D-03：Almost Timely News: How To Improve Advertising with AI

来源：almosttimely.substack.com 丢弃理由： - 营销优化主题，非 AI 工程 - 无 Agent/Harness/RAG/MLOps 核心技术内容 - 不符合工程筛选标准

❌ D-04：25 AI Engineers You Should Be Following in 2026

来源：aiacceleratorinstitute.com 丢弃理由： - 人选推荐列表，非技术内容 - 无工程实践、源码、命令或性能数据 - 可作为人脉线索存档，但不符合本次工程筛选维度

❌ D-05：I Tried 20+ AI Agent Courses on Udemy（Medium）

来源：medium.com/javarevisited 丢弃理由： - 课程评测，非工程实践 - 无源码/命令/benchmark 级工程数据 - 内容停留在"学什么"而非"怎么做"

❌ D-06：start-ai-engineering（GitHub 资源列表）

来源：github.com/louisfb01/start-ai-engineering 丢弃理由： - 资源汇总列表，无原创工程内容 - 与已有 awesome-harness-engineering 相比覆盖广度有余、深度不足 - 推荐课程和 Substack 已在其他地方覆盖

❌ D-07：awesome-ai-agents-2026（GitHub · ARUNAGIRINATHAN-K）

来源：github.com/ARUNAGIRINATHAN-K/awesome-ai-agents-2026 丢弃理由： - 300+ 项目枚举，无筛选、无量化数据、无工程洞察 - 与 ai-boost/awesome-harness-engineering 相比缺少框架分析深度 - 属于列表罗列，非工程二次筛选对象

❌ D-08：ai-engineering-interview-questions（GitHub）

来源：github.com/amitshekhariitbhu/ai-engineering-interview-questions 丢弃理由： - 面试题库，非生产工程实践 - 无真实环境配置、命令、性能数据或源码分析 - 与知识库工程导向不符

三、分类标签

标签 涉及条目
agent-harness R-01, R-02, R-03, R-04
observability R-01, R-06
scheduling R-05
security-sandbox R-01, R-02, R-04
llm-as-code R-03
context-management R-09
provenance-tracing R-06, R-07
loop-engineering R-04
benchmark R-03, R-07
gpu-scheduling R-05
agent-evolution R-10

四、建议写入路径

建议路径：/shared/research-kb/inbox/jay/2026-07-03-1050-engineering-filter-harness-agents-llmascode.md

本文件即为该路径的完整内容，包含： - 保留 10 条高价值工程条目（含源码级分析、benchmark 数字、命令/工具链） - 丢弃 8 条低价值条目（含丢弃理由） - 分类标签矩阵 - 精读优先级建议

是否需要审稿：R-01（R-03 benchmark 数字建议交叉验证 OSWorld leaderboard）、R-03（86.8% OSWorld 需核实）

主题页更新建议： - agent-harness 主题页可整合 R-01、R-02、R-03、R-04 的框架 - agent-observability 主题页可整合 R-01（AgentTrace/Braintrust/OpenObserve）、R-06（provenance）、R-07（zero-replay debugging） - llm-serving-systems 主题页可整合 R-05（GPU scheduling）