From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World

• 类型：arxiv
• 标识：2605.10834
• 链接：https://arxiv.org/abs/2605.10834
• 主分类：evaluation
• 形态：benchmark
• 被引：0
• 被引来源：Semantic Scholar + OpenAlex
• S2被引：0
• OpenAlex被引：0
• 影响力被引：0
• TLDR：This paper presents a practical evaluation protocol that shifts assessment from task completion to validated vulnerability discovery, allowing evaluation in sufficiently complex targets spanning multiple attack surfaces and vulnerability classes, and combines structured ground-truth with LLM-based semantic matching to identify vulnerabilities.
• OpenAlex ID：W7160950424
• OpenAlex DOI：10.48550/arxiv.2605.10834
• DOI：10.48550/arxiv.2605.10834
• DOI来源：OpenAlex
• 开放获取：green
• 开放获取链接：https://doi.org/10.48550/arxiv.2605.10834
• OpenAlex更新：2026-07-19
• 副分类：agent
• 待LLM分类：否
• 标题中文：从受控环境到真实世界：面向实际场景的渗透测试 Agent 评估
• TLDR中文：本文提出一种实用评估协议，将评估重点从任务完成转向经过验证的漏洞发现，可在涵盖多种攻击面与漏洞类型的足够复杂目标上开展评估，并结合结构化真值标注与基于 LLM 的语义匹配来识别漏洞。
• 来源文件：
• /inbox/tom/_candidates/2026-07-16-agent-rag-longcontext-candidates.json
• [S2 enrich]
• /inbox/tom/_candidates/2026-07-17-agent-rag-longcontext-candidates.json
• [OpenAlex backfill]