工程知识库草稿 · Jay · 2026-10-12
主题:LLM Agent / RAG / MLOps 工程实践(晚间轮次)
一、候选条目与筛选结论
✅ 保留 #1 — FROAV:RAG 观察与 Agent 验证框架
- 来源:arXiv:2601.07504v1
- 时间:2026(月份未明)
- 可信度:高(arXiv 同行评议)
- 摘要:提出 FROAV 框架,用于降低 LLM Agent 研究门槛。核心工程栈:PostgreSQL + FastAPI + Streamlit,支持工作流编排、向量检索、多角色 Prompt 迭代优化、人类反馈收集。对 DevOps/SRE 场景(80 文档知识库、6 种文档类型)做了真实评估。
- 工程价值:
- 明确技术栈组合(非常具体的 full-stack 选型)
- RAG 策略快速原型方法论
- 人类在环(Human-in-the-Loop)反馈收集机制
- 是否需精读:是,FastAPI/PostgreSQL/Streamlit 组合拳对构建 RAG 评估平台有直接参考价值
- 标签:
RAGAgent评估框架FastAPIDevOps
✅ 保留 #2 — Skill Retrieval Augmentation for Agentic AI
- 来源:arXiv:2604.24594v1
- 时间:2026-04
- 可信度:高(arXiv,含 OpenClaw Steinberger and Contributors 2026 引用)
- 摘要:将模块化 Skill 作为 Agent 设计核心抽象,替代原子工具。讨论了 SKILL.md 文件格式(OpenClaw 风格)在 Agent 动态技能加载中的应用,与 Voyager 等系统对比。
- 工程价值:
- Skill 作为 Agent 设计模式的概念论证
- OpenClaw 的 SKILL.md 格式被学术界引用,有信号价值
- 揭示了"技能压缩元数据 + 上下文加载"范式的系统性研究
- 是否需精读:是,对构建可扩展 Agent 技能系统有架构参考价值
- 标签:
AgentSkill抽象OpenClaw软件工程
✅ 保留 #3 — Forward-Deployed Full-Stack Engineering for Autonomous Cloud MLOps
- 来源:arXiv:2608.29615v1
- 时间:2026-08
- 可信度:高(arXiv 2026-08-19)
- 摘要:Google Kubernetes Engine (GKE) + gVisor 沙箱环境下的自主云端 MLOps Agent 系统。多 Agent 架构:代码生成 Agent、发布/监控 Agent、图结构工作流编排、边界修正与自适应机制。端到端转换自然语言云工程任务(如"在 K8s 上构建时序异常检测 pipeline")。
- 工程价值:
- 具体工程细节:GKE + gVisor 配置、图工程(graph engineering)、循环工程(loop engineering)
- 多 Agent 生命周期管理(启动/停止/暂停)
- 云端 MLOps 闭环的完整生命周期建模
- 是否需精读:是,且优先 — 云端 MLOps + 多 Agent 协同的最前沿工程实践
- 标签:
MLOps多AgentKubernetes云原生GKE
✅ 保留 #4 — Agentic Self-Healing for Data & AI Pipelines
- 来源:arXiv:2608.01955v1
- 时间:2026-08
- 可信度:高(arXiv)
- 摘要:Agentic 自愈数据/AI Pipeline 的供应商无关架构,基于开源软件。Databricks Genie ZeroOps 功能对比(2026 中期发布)。自愈循环:确定性检查 + Agent 分类 → 诊断(沿袭图 + 事故历史)→ 规划(仅允许列表动作)→ 验证恢复 → 写入组织记忆。
- 工程价值:
- Databricks Genie ZeroOps 实际功能的公开对比数据
- 开源供应商无关架构,有具体实现路径
- 事故记忆积累机制(incident memory compounding)
- 自愈决策的人类审批边界设计
- 是否需精读:是 — 自愈 Pipeline 架构模式对生产 AI 系统有直接价值
- 标签:
MLOps自愈AgentDatabricks开源
⚠️ 保留 #5 — Coding Benchmarks Are Misaligned with Agentic Software Engineering(Position Paper)
- 来源:arXiv:2606.17799v2
- 时间:2026-06
- 可信度:高(arXiv,Position Paper)
- 摘要:批评现有 SWE-bench、Terminal-Bench 等编码基准测试与真实 Agent 软件工程脱节。指出组件级(component-level)评估的缺失——现有端到端评分无法定位 context/tooling/verifier/task decomposition 哪一层失败。提出诊断-修复连续改进循环的重要性。
- 工程价值:
- 批判性视角:对所有做 Agent 评测的工程团队是必读
- PEEK(Long-context aggregation)、组件级 skill 评估等具体方向
- OpenAI 2026a、Scanlan 2026 被引用,说明工业界已有内部实践
- 是否需精读:是 — 评测工程(evals)的元问题,对构建 Agent 评测工具有方向性价值
- 标签:
Agent评测基准测试软件工程PositionPaper
⚠️ 保留 #6 — AIGen: AI Bill of Materials Generation via MLOps Integration
- 来源:arXiv:2607.26652v1
- 时间:2026-07
- 可信度:中高(arXiv)
- 摘要:AIGen 系统生成 SPDX 3.0 兼容的 AI-BOM。使用 OllamaClient 本地 LLM(保护源代码隐私)。支持 EU AI Act 合规。与 ALOHA(CycloneDX)、AIBoMGen(训练溯源签名)对比。
- 工程价值:
- OllamaClient 集成模式(本地 LLM + 隐私保护)
- SPDX 3.0 + AIModel 元素具体用法
- EU AI Act 合规的实际工程路径
- 是否需精读:可浏览 — 法规合规 + MLOps 的交叉点,方向重要但细节待核
- 标签:
MLOps合规SPDXEU_AI_ActOllama
✅ 保留 #7 — GitHub 2026 夏:OpenClaw / DeepSeek Harness / mattpocock/skills
- 来源:ByteByteGo Newsletter + Zima Space
- 时间:2026-08 趋势数据
- 可信度:中(技术博客,二次整理)
- 摘要:2026 年夏 GitHub AI 项目趋势:
- OpenClaw:2026 年 breakout star,最快增长开源项目之一
- DeepSeek Harness:+152.1K stars,插件式 Agent 运行时
- mattpocock/skills:+33.9K stars,可移植工程工作流(coding agents)
- Colibri:纯 C inference engine,744B MoE 模型本地运行,25GB RAM
- Archify:代码库 → 可验证技术图谱
- 工程价值:
- OpenClaw 行业信号(增长最快开源 AI 项目)
- Agent Skills 范式(mattpocock/skills)代表可复用工程行为趋势
- 本地推理工程突破(Colibri)
- 是否需精读:浏览 — 信号性质,二次来源,非原创研究
- 标签:
GitHubAgent框架开源本地推理Skills
❌ 丢弃 — AEC-Bench / MMArch / MUSE CAD
- 原因:专业领域过窄(建筑 CAD / 机械工程),工程方法论有限,不适合本知识库通用 AI 工程方向
❌ 丢弃 — Substack AI Engineering Insider "面试 cheat sheet"
- 原因:非原创研究,内容为面试题汇总,无工程实现细节或源码分析
二、主题标签汇总
#AI-Agent #RAG #MLOps #云原生 #多Agent系统 #基准测试
#Agent评测 #自愈系统 #合规 #开源生态 #本地推理
三、建议写入路径
/shared/research-kb/inbox/jay/2026-10-12-ai-engineering.md
四、后续行动建议
| 条目 | 行动 | 优先级 |
|---|---|---|
| #3 FROAV | 精读 FastAPI/PostgreSQL 集成方案 | 🔴 高 |
| #4 Autonomous Cloud MLOps | 精读 GKE + gVisor 多 Agent 架构 | 🔴 高 |
| #5 Self-Healing Pipelines | 精读自愈循环设计模式 | 🟡 中 |
| #7 GitHub 趋势 | 关注 DeepSeek Harness 和 mattpocock/skills Star 增长 | 🟡 中 |
| #6 AIGen | 核验 OllamaClient + SPDX 3.0 实现细节 | 🟢 低 |
| #2 Skill Retrieval | 关注 OpenClaw SKILL.md 学术引用信号 | 🟢 低 |
五、本次筛选统计
- 检索范围:arXiv(月度)、GitHub 趋势博客、Substack
- 候选条目:13 条
- 保留:7 条(标注 ✅/⚠️)
- 丢弃:6 条(含 3 条建筑/工程专项 + 1 条 Substack 面试汇总 + 2 条低价值)
- 本次写入:✅
/shared/research-kb/inbox/jay/2026-10-12-ai-engineering.md
Jay · 2026-10-12 19:50 CST