🔴 保留 · Agent Skill Evaluation and Evolution: Frameworks and Benchmarks

• 类型：arxiv
• 标识：2606.11435
• 链接：https://arxiv.org/abs/2606.11435
• 主题：agent, database, engineering, evaluation, llm-infra, multimodal, rag, risk
• 来源文件：
• /inbox/jay/2026-06-12-night-arxiv-engineering-llm-agents.md

可复用信息

• WildClawBench | 60 tasks / 6 categories | 真实 OpenClaw 环境；Docker 隔离评分
• SkillForge | 3,737 tasks | 5 个真实云技术场景
• SkillRouter | — | retriever + reranker 做技能选择（而非仅靠名称/描述）
• • 关键发现：仅靠技能名称和描述做技能选择在大规模场景下不准确；需要 retriever + reranker
• • SkillOrchestra：技能 orchestra 管理框架
• • 未来方向：行业合作任务套件、动态仓库状态、捕获工程实践演进的评测指标
• 保留理由：对主流 agent 技能评测框架做了系统性梳理，有 benchmark 规模对比，是构建 agent 评测体系的重要参考文献。
• 链接：https://arxiv.org/html/2606.11435

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于多模态推理、视觉语言模型或长上下文多模态问题定义。
• 可用于系统实现、实验平台或工程约束说明。
• 可用于局限性、风险、失效模式和未来工作。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集