工程知识库草稿 · Jay · 2026-10-12

主题:LLM Agent / RAG / MLOps 工程实践(晚间轮次)


一、候选条目与筛选结论

✅ 保留 #1 — FROAV:RAG 观察与 Agent 验证框架

  • 来源:arXiv:2601.07504v1
  • 时间:2026(月份未明)
  • 可信度:高(arXiv 同行评议)
  • 摘要:提出 FROAV 框架,用于降低 LLM Agent 研究门槛。核心工程栈:PostgreSQL + FastAPI + Streamlit,支持工作流编排、向量检索、多角色 Prompt 迭代优化、人类反馈收集。对 DevOps/SRE 场景(80 文档知识库、6 种文档类型)做了真实评估。
  • 工程价值:
  • 明确技术栈组合(非常具体的 full-stack 选型)
  • RAG 策略快速原型方法论
  • 人类在环(Human-in-the-Loop)反馈收集机制
  • 是否需精读:是,FastAPI/PostgreSQL/Streamlit 组合拳对构建 RAG 评估平台有直接参考价值
  • 标签:RAG Agent 评估框架 FastAPI DevOps

✅ 保留 #2 — Skill Retrieval Augmentation for Agentic AI

  • 来源:arXiv:2604.24594v1
  • 时间:2026-04
  • 可信度:高(arXiv,含 OpenClaw Steinberger and Contributors 2026 引用)
  • 摘要:将模块化 Skill 作为 Agent 设计核心抽象,替代原子工具。讨论了 SKILL.md 文件格式(OpenClaw 风格)在 Agent 动态技能加载中的应用,与 Voyager 等系统对比。
  • 工程价值:
  • Skill 作为 Agent 设计模式的概念论证
  • OpenClaw 的 SKILL.md 格式被学术界引用,有信号价值
  • 揭示了"技能压缩元数据 + 上下文加载"范式的系统性研究
  • 是否需精读:是,对构建可扩展 Agent 技能系统有架构参考价值
  • 标签:Agent Skill抽象 OpenClaw 软件工程

✅ 保留 #3 — Forward-Deployed Full-Stack Engineering for Autonomous Cloud MLOps

  • 来源:arXiv:2608.29615v1
  • 时间:2026-08
  • 可信度:高(arXiv 2026-08-19)
  • 摘要:Google Kubernetes Engine (GKE) + gVisor 沙箱环境下的自主云端 MLOps Agent 系统。多 Agent 架构:代码生成 Agent、发布/监控 Agent、图结构工作流编排、边界修正与自适应机制。端到端转换自然语言云工程任务(如"在 K8s 上构建时序异常检测 pipeline")。
  • 工程价值:
  • 具体工程细节:GKE + gVisor 配置、图工程(graph engineering)、循环工程(loop engineering)
  • 多 Agent 生命周期管理(启动/停止/暂停)
  • 云端 MLOps 闭环的完整生命周期建模
  • 是否需精读:是,且优先 — 云端 MLOps + 多 Agent 协同的最前沿工程实践
  • 标签:MLOps 多Agent Kubernetes 云原生 GKE

✅ 保留 #4 — Agentic Self-Healing for Data & AI Pipelines

  • 来源:arXiv:2608.01955v1
  • 时间:2026-08
  • 可信度:高(arXiv)
  • 摘要:Agentic 自愈数据/AI Pipeline 的供应商无关架构,基于开源软件。Databricks Genie ZeroOps 功能对比(2026 中期发布)。自愈循环:确定性检查 + Agent 分类 → 诊断(沿袭图 + 事故历史)→ 规划(仅允许列表动作)→ 验证恢复 → 写入组织记忆。
  • 工程价值:
  • Databricks Genie ZeroOps 实际功能的公开对比数据
  • 开源供应商无关架构,有具体实现路径
  • 事故记忆积累机制(incident memory compounding)
  • 自愈决策的人类审批边界设计
  • 是否需精读:是 — 自愈 Pipeline 架构模式对生产 AI 系统有直接价值
  • 标签:MLOps 自愈 Agent Databricks 开源

⚠️ 保留 #5 — Coding Benchmarks Are Misaligned with Agentic Software Engineering(Position Paper)

  • 来源:arXiv:2606.17799v2
  • 时间:2026-06
  • 可信度:高(arXiv,Position Paper)
  • 摘要:批评现有 SWE-bench、Terminal-Bench 等编码基准测试与真实 Agent 软件工程脱节。指出组件级(component-level)评估的缺失——现有端到端评分无法定位 context/tooling/verifier/task decomposition 哪一层失败。提出诊断-修复连续改进循环的重要性。
  • 工程价值:
  • 批判性视角:对所有做 Agent 评测的工程团队是必读
  • PEEK(Long-context aggregation)、组件级 skill 评估等具体方向
  • OpenAI 2026a、Scanlan 2026 被引用,说明工业界已有内部实践
  • 是否需精读:是 — 评测工程(evals)的元问题,对构建 Agent 评测工具有方向性价值
  • 标签:Agent 评测 基准测试 软件工程 PositionPaper

⚠️ 保留 #6 — AIGen: AI Bill of Materials Generation via MLOps Integration

  • 来源:arXiv:2607.26652v1
  • 时间:2026-07
  • 可信度:中高(arXiv)
  • 摘要:AIGen 系统生成 SPDX 3.0 兼容的 AI-BOM。使用 OllamaClient 本地 LLM(保护源代码隐私)。支持 EU AI Act 合规。与 ALOHA(CycloneDX)、AIBoMGen(训练溯源签名)对比。
  • 工程价值:
  • OllamaClient 集成模式(本地 LLM + 隐私保护)
  • SPDX 3.0 + AIModel 元素具体用法
  • EU AI Act 合规的实际工程路径
  • 是否需精读:可浏览 — 法规合规 + MLOps 的交叉点,方向重要但细节待核
  • 标签:MLOps 合规 SPDX EU_AI_Act Ollama

✅ 保留 #7 — GitHub 2026 夏:OpenClaw / DeepSeek Harness / mattpocock/skills

  • 来源:ByteByteGo Newsletter + Zima Space
  • 时间:2026-08 趋势数据
  • 可信度:中(技术博客,二次整理)
  • 摘要:2026 年夏 GitHub AI 项目趋势:
  • OpenClaw:2026 年 breakout star,最快增长开源项目之一
  • DeepSeek Harness:+152.1K stars,插件式 Agent 运行时
  • mattpocock/skills:+33.9K stars,可移植工程工作流(coding agents)
  • Colibri:纯 C inference engine,744B MoE 模型本地运行,25GB RAM
  • Archify:代码库 → 可验证技术图谱
  • 工程价值:
  • OpenClaw 行业信号(增长最快开源 AI 项目)
  • Agent Skills 范式(mattpocock/skills)代表可复用工程行为趋势
  • 本地推理工程突破(Colibri)
  • 是否需精读:浏览 — 信号性质,二次来源,非原创研究
  • 标签:GitHub Agent框架 开源 本地推理 Skills

❌ 丢弃 — AEC-Bench / MMArch / MUSE CAD

  • 原因:专业领域过窄(建筑 CAD / 机械工程),工程方法论有限,不适合本知识库通用 AI 工程方向

❌ 丢弃 — Substack AI Engineering Insider "面试 cheat sheet"

  • 原因:非原创研究,内容为面试题汇总,无工程实现细节或源码分析

二、主题标签汇总

#AI-Agent #RAG #MLOps #云原生 #多Agent系统 #基准测试
#Agent评测 #自愈系统 #合规 #开源生态 #本地推理

三、建议写入路径

/shared/research-kb/inbox/jay/2026-10-12-ai-engineering.md

四、后续行动建议

条目 行动 优先级
#3 FROAV 精读 FastAPI/PostgreSQL 集成方案 🔴 高
#4 Autonomous Cloud MLOps 精读 GKE + gVisor 多 Agent 架构 🔴 高
#5 Self-Healing Pipelines 精读自愈循环设计模式 🟡 中
#7 GitHub 趋势 关注 DeepSeek Harness 和 mattpocock/skills Star 增长 🟡 中
#6 AIGen 核验 OllamaClient + SPDX 3.0 实现细节 🟢 低
#2 Skill Retrieval 关注 OpenClaw SKILL.md 学术引用信号 🟢 低

五、本次筛选统计

  • 检索范围:arXiv(月度)、GitHub 趋势博客、Substack
  • 候选条目:13 条
  • 保留:7 条(标注 ✅/⚠️)
  • 丢弃:6 条(含 3 条建筑/工程专项 + 1 条 Substack 面试汇总 + 2 条低价值)
  • 本次写入:✅ /shared/research-kb/inbox/jay/2026-10-12-ai-engineering.md

Jay · 2026-10-12 19:50 CST