Jay 工程文章二次筛选 · 2026-08-26 晚场

筛选维度

真实环境 / 命令 / 错误信息 / 源码分析 / 性能数据 / 可复现步骤

✅ 保留条目

1. Arize — 6 best agent engineering tools in 2026

  • URL: https://arize.com/resources/best-agent-engineering-tools
  • 来源: Arize 官方博客（工程实践导向）
  • 工程含量: ⭐⭐⭐⭐
  • 保留理由:
  • 生产 agent 真实失败模式描述：tool call 错误、重试后状态丢失、循环无进展、误报成功
  • Evaluator Ladder 分层：代码级精确规则 → LLM Judge → Agent-as-a-Judge → 人工审核
  • Signal 工具：发现"未预设失败模式"（unknown-failure discovery）
  • 失败转化路径：一次调试 → dataset example → evaluator → experiment → regression test
  • 建议: 补充到 agent eval/production 相关主题页

2. Datadog State of AI Engineering — LLM call failure rates

  • URL: https://www.datadoghq.com/state-of-ai-engineering
  • 来源: Datadog 官方（生产遥测数据）
  • 工程含量: ⭐⭐⭐⭐⭐
  • 核心数据点:
  • 2026年2月：5% LLM span 报错，rate limit 占 60%
  • 2026年3月：2% LLM span 报错，rate limit 占约 1/3（~840万次 rate limit 错误）
  • 应对策略：prompt 优化 + operational patterns（budgeting、backpressure）
  • 建议: 写入 production engineering 数据基准参考

3. arXiv:2608.09253 — SkillSentry

  • URL: https://arxiv.org/pdf/2608.09253
  • 来源: arXiv（2026-08-10）
  • 工程含量: ⭐⭐⭐⭐
  • 核心内容:
  • 技能导向运行时保障框架，提升 LLM agent 工具调用可靠性
  • 引用 Anthropic Claude Code Hooks、OpenAI Codex Hooks 具体集成细节
  • 实验评估 + runtime overhead 数据
  • 建议: 补充到 harness engineering / agent reliability 主题

4. arXiv:2608.05959 — AgentExecutor（ASE'26）

  • URL: https://arxiv.org/pdf/2608.05959
  • 来源: ASE'26 顶会论文
  • 工程含量: ⭐⭐⭐⭐⭐
  • 核心数据:
  • Partial code execution 每次约 $0.055（与 Treefix 对比）
  • Efficiency results Table 3：monetary cost、code coverage 具体指标
  • Prefix Tree 引导执行算法框架
  • Prompt caching 价格差异具体提及
  • 建议: 写入 inference engineering / benchmark 主题

5. arXiv:2608.14380 — Recoverable Execution for Long-Horizon Agents

  • URL: https://arxiv.org/html/2608.14380v1
  • 来源: arXiv（2026-08）
  • 工程含量: ⭐⭐⭐⭐
  • 核心内容:
  • 三种执行策略对比：Continue / Restart with Experiences / Safety Review
  • AgentDoG guardrail 具体机制：local monitor model，safe/unsafe 二值判断
  • 确定性信号：action 是否在允许路径内、命令类别（read-only、workspace-local test）
  • GPT-5.4 / GPT-5.4 mini 具体模型对比实验
  • 建议: 写入 agent fault tolerance / production engineering 主题

6. dataengineerthings.substack — Netflix LLM Serving

  • URL: https://dataengineerthings.substack.com/p/data-engineer-things-newsletter-data-8c8
  • 作者: Data Pulse Edition（Data Engineer Things Newsletter）
  • Substack 规则适用: 是（AI 工程高质量 newsletter）
  • 工程含量: ⭐⭐⭐⭐
  • 核心工程洞察:
  • Netflix 实际案例：vLLM + NVIDIA Triton + OpenAI-compatible HTTP interface
  • 架构决策：LLM serving 集成到已有 Model Scoring Service，不新建平台
  • Self-hosting LLM 具体工程挑战：artifact distribution、cold starts、rollout strategy、capacity、monitoring、version compatibility
  • Retry logic 原则：retries=3 对 credential expiry 无效，rate limit 才有效
  • Persistent task state：Airflow retry 应 reconnect 而非 resubmit Spark job
  • 可信度判断: 高（真实生产案例，工程细节具体）
  • 后续行动: 需要进一步核验 Netflix 技术博客原文

7. futureagi.substack — Six-Step Loop for Testing LLMs in Production

  • URL: https://futureagi.substack.com/p/the-six-step-loop-for-testing-llms
  • 作者: Future AGI
  • Substack 规则适用: 是（AI 工程测试方法论）
  • 工程含量: ⭐⭐⭐⭐
  • 核心内容:
  • instrument → score → gate → simulate → sample → optimize 六步闭环
  • 验证检查项：root span 包含 user request + final response、model call 为 child span、tool call 嵌套正确
  • context propagation 错误的具体表现（spans flat 而非 nested）
  • scores attach to active span as it runs 的具体工程模式
  • 可信度判断: 高（工程方法论，步骤可操作）
  • 后续行动: 适合作为 agent testing runbook 模板参考

8. aishwaryasrinivasan.substack — Harness Engineering

  • URL: https://aishwaryasrinivasan.substack.com/p/all-you-need-to-know-about-harness
  • 作者: Aishwarya Srinivasan
  • Substack 规则适用: 是（AI 工程方法论）
  • 工程含量: ⭐⭐⭐⭐
  • 核心内容:
  • Mitchell Hashimoto 2026 年 Agent = Model + Harness 公式
  • 三层 Harness：Context & Orchestration / Tools & Permissions & Governance / Evaluation & Observability & Feedback Loop
  • "Only 5% enterprise agents reach production" 行业统计
  • Frozen-Model Mindset：making failures structurally impossible
  • Practical starting checklist
  • 可信度判断: 高（引用明确，方法论完整）
  • 后续行动: 补充到 harness engineering 主题页作为核心框架引用

9. arXiv:2608.21107 — LLM4SE+Security Survey

  • URL: https://arxiv.org/html/2608.21107v1
  • 来源: arXiv（2026-08，survey 类）
  • 工程含量: ⭐⭐⭐（降级为分类框架参考）
  • 核心内容:
  • 三维分类法：SE 任务 × 安全任务 × 适应机制
  • 任务覆盖：code generation、automated repair、software testing、vulnerability detection、malware analysis
  • assurance framework 分离 functional correctness 和 security
  • 截至 2026-05-31 文献调研
  • 建议: 作为 LLM4SE 分类框架参考，不作为工程命令来源

10. arXiv:2604.08224 — Externalization in LLM Agents

  • URL: https://arxiv.org/html/2604.08224v1
  • 来源: arXiv（2026-04，持续相关）
  • 工程含量: ⭐⭐⭐⭐
  • 核心内容:
  • 沙箱隔离具体对比：Codex-style cloud sandbox vs Claude Code graduated permission modes
  • Codex 沙箱属性：dedicated cloud sandbox、filesystem snapshot、network restrictions、resource quotas
  • 外部化技能机制：load、reuse、compose across tasks
  • OpenTelemetry tracing 集成到 agent harness 的具体说明
  • 建议: 写入 sandbox / security / harness engineering 主题

⚠️ 降级参考保留

11. aithinkerlab — Why 95% AI Agents in Production Are Breaking

  • URL: https://aithinkerlab.com/ai-agents-in-production
  • 工程含量: ⭐⭐⭐
  • 降级理由: Production Readiness Scorecard 有参考价值，但缺少具体命令或代码
  • 适用场景: 内部 engineering checklist 模板

12. futureagi.substack — LLM Safety in 2026

  • URL: https://futureagi.substack.com/p/llm-safety-in-2026-six-surfaces-five
  • 工程含量: ⭐⭐⭐
  • 降级理由: 治理框架完整，偏安全合规而非工程命令
  • 适用场景: 安全架构 checklist / EU AI Act 合规参考

13. dataiku.com — Best AI agent frameworks 2026

  • URL: https://www.dataiku.com/blog/ai-agent-frameworks
  • 工程含量: ⭐⭐
  • 降级理由: 框架选型对照有价值，缺具体性能数字
  • 适用场景: 框架选型决策参考

建议写入路径

文件名 内容 优先级
2026-08-26-harness-eval-agent-production.md SkillSentry、AgentExecutor、Externalization、aishwaryasrinivasan 高
2026-08-26-agent-observability-production-eval.md Arize、Datadog、futureagi six-step loop 高
2026-08-26-llm-serving-production-cases.md Netflix vLLM+Triton 案例 + self-hosting 工程挑战 中
2026-08-26-arxiv-agentic-engineering-aug26.md AgentExecutor、Recoverable Execution、LLM4SE+Security Survey 中

标签

agent-engineering #harness #evaluator #production #observability #datadog #netflix #arxiv #substack #skill-sentry #agentexecutor #recoverable-execution

筛选结论

本轮 13 条候选，无丢弃条目。2 条降级参考，11 条保留高价值。Arize/Datadog/AgentExecutor 三条为本轮最高工程价值候选。