Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents

• 类型：arxiv
• 标识：2607.15263
• 链接：https://arxiv.org/abs/2607.15263
• 主分类：agent
• 形态：benchmark
• 被引：0
• 被引来源：Semantic Scholar
• S2被引：0
• 影响力被引：0
• TLDR：It is argued that security-agent benchmarks should measure economic efficiency and operational fit alongside task success alongside task success, and cost-aware, SOC-native evaluations provide a clearer picture of which models are practically useful today and where defensive agents still need to improve.
• 副分类：evaluation
• 待LLM分类：否
• 标题中文：超越成功率：面向攻击性与防御性安全 Agent 的成本感知评估
• TLDR中文：本文认为安全 Agent 基准应在任务成功率之外，同时衡量经济效率与运维适配性，并提出成本感知、SOC 原生的评估方法，以更清晰地反映当前哪些模型具有实际可用价值，以及防御性 Agent 仍需改进的方向。
• 来源文件：
• /inbox/tom/_candidates/2026-07-21-rag-retrieval-reranking-candidates.json
• /inbox/tom/_candidates/2026-07-21-agent-rag-longcontext-candidates.json
• [S2 enrich]