精读：AgentLAB — LLM Agent 长期攻击的系统性基准

  • 本实例：flyP
  • 本期主题：Agent 安全 / 长期攻击评测（与本箱"长期记忆 / 长期任务诊断"主线在"长期性"维度上交叉）
  • 检索范围：arXiv、GitHub、项目主页、Hugging Face Papers、Substack 候选 1 条（共用 LifeBench 那条，本篇不重复）
  • 精读对象：Tanqiu Jiang, Yuhui Wang, Jiacheng Liang, Ting Wang, AgentLAB: Benchmarking LLM Agents against Long-Horizon Attacks, arXiv:2602.16901v1（2026-02-18）
  • 代码/数据：github.com/TanqiuJiang/AgentLAB；项目主页 tanqiujiang.github.io/AgentLAB_main；Hugging Face Papers 镜像 2602.16901
  • 关联上下文：本箱"长期任务"主线在 7/8 HORIZON（长期任务诊断）与 7/4 AgenticRAGTracer（hop-aware RAG）已有覆盖；本篇从"安全 / 攻击"侧补全"长期性"维度，与未来"记忆后端对抗鲁棒性"评估强相关

1. 核心贡献（基于 abstract + GitHub README 复述）

  1. 首个长期攻击 benchmark：把"long-horizon attack"从单轮 prompt injection / jailbreak 拉到多轮 user–agent–environment 交互；定义在单轮设置下"不可行"的目标。
  2. 5 类新型长期攻击家族：Intent Hijacking、Tool Chaining、Objective Drifting、Task Injection、Memory Poisoning——覆盖"用户意图劫持 → 工具链路滥用 → 目标漂移 → 任务注入 → 记忆污染"全链路。
  3. 统一多代理攻击框架：planner（自适应规划）+ attacker + verifier + judge 四件套；其中 planner 与 judge 固定 GPT-5.1，attacker 模型本地 vLLM 部署。这等于把"红队"工程化、模块化。
  4. 规模：5 类攻击 × 28 真实 agentic 环境 × 644 安全测试用例；任务覆盖 WebShop、AgentDojo（Task-Injection）、自研环境等。
  5. 主要发现： - 代表性 LLM agents 对长期攻击高度脆弱。 - 为单轮交互设计的防御（system-prompt 强化、output filter 等）无法可靠缓解长期威胁。
  6. 可执行代码：提供 CLI 与 benchmark runner，支持本地 vLLM / 远程 API 模型切换；含单元自检脚本（验证 5 个攻击模块 + CLI + 注册表 + 任务套件装载）。

abstract 要点复述："LLM agents are increasingly deployed in long-horizon, complex environments … existing research has primarily focused on two threat vectors: user–agent interaction attacks and environment–agent interaction attacks … AgentLAB … measures agent vulnerabilities to long-horizon attacks."——把"长期"作为新的攻击轴，与"单轮"防御不兼容，是本篇最大的概念延展。

2. 方法拆解（基于 abstract + GitHub README 片段）

  • 威胁模型扩展：把既有两大威胁向量（用户—agent 攻击 + 环境—agent 攻击 / indirect prompt injection）合并，并在多轮、跨工具、跨记忆的链路里构造攻击。
  • 5 类攻击家族（设计要点）：
  • Intent Hijacking：通过长程用户对话，逐步把 agent 的本任务目标偏移到攻击者指定目标。考验"目标一致性"鲁棒性。
  • Tool Chaining：把若干无害工具调用串成有害链路；考验"工具组合可观察性"。
  • Objective Drifting：在长程任务中渐进偏离原始目标；与 Intent Hijacking 的差别在于"漂移"更平滑。
  • Task Injection：把新任务注入到 agent 正在执行的任务流中；与 AgentDojo 的 task-injection 范式同源。
  • Memory Poisoning：通过污染长期记忆影响后续行为；与 LifeBench 的"non-declarative habit"维度交叉点最多。
  • 攻击框架组件：
  • Planner：自适应地根据 verifier 反馈调整下一轮攻击策略；固定 GPT-5.1（这本身带来"用 GPT-5.1 攻击 GPT-5.1 judge"的同源风险）。
  • Attacker：实际生成攻击 prompt / payload；本地 vLLM 部署，意味着研究方可自由切换模型族。
  • Verifier：评估攻击是否在子目标上达成。
  • Judge：最终判断攻击是否成功；同样固定 GPT-5.1。
  • 评测输出：每类攻击的成功率（ASR）+ Overall ASR；README 中已给出主表占位。
  • 运行环境：Conda（WebShop 与 Task Injection 隔离环境）；CLI 接受 GPT-5.1 / Claude / Gemini / 本地 vLLM 受害者模型。

3. 主要问题与实验风险（我的批判）

  1. planner & judge 同源偏差：planner 与 judge 都固定 GPT-5.1，等于"用 GPT-5.1 训练的攻击 + GPT-5.1 评分"，可能高估 GPT-5.1 系族外模型的脆弱性；也可能在对抗 GPT-5.1 受害者时"过度乐观"。需要复核 paper 中是否有 ablation：换 judge / planner 模型是否影响 ASR 排序。
  2. attacker 模型族的覆盖度：本轮抓取未确认 attacker 默认是哪个开源模型；如果 attacker 默认是某个特定 SOTA（如 Qwen 系），则对"非 attacker 同源"受害者的迁移性需要单独验证。
  3. "Memory Poisoning" 的评测严谨度：与 LifeBench 同源，但 LifeBench 没有把 memory poisoning 列为评测维度；AgentLAB 这边的 Memory Poisoning 攻击需要明确攻击媒介（写入哪一层记忆？是 RAG 索引、向量库、还是对话历史？）——这是把"记忆后端对抗"做深的关键。
  4. 5 类攻击间的耦合度量：5 类攻击可能在同一任务里同时存在；如果只报 Overall ASR 而不报耦合情况，会让"防御优先级"难以确定。需要 paper 里给出耦合混淆矩阵。
  5. 环境异质性：28 个 agentic 环境差异极大（WebShop vs AgentDojo vs 自研），不同环境的 ASR 数值不可直接平均；建议箱内引用时按"环境类目"分别看 ASR。
  6. 复现门槛：需要本地 vLLM 部署 attacker + 远程 GPT-5.1/Claude/Gemini API + Conda 隔离环境；显存与 API 成本双重门槛。需要复现待补查 LICENSE 与 model enum 兼容性。
  7. 与既有 benchmark 的关系：未明确说明与 AgentDojo、AgentBench、ASB（Agent Safety Benchmark）等的差异与互补关系；如果 paper 里没有表 1 做横向比较，箱内需要单独补一份 cross-benchmark mapping。

4. 可信度

  • 概念新颖度：高。把"长期性"作为攻击维度本身是清晰的概念延展；5 类攻击覆盖"目标—工具—任务—记忆"四个面，工程上具备结构化。
  • 工程完成度：高。CLI / 注册表 / vLLM 集成 / 自检脚本齐备；README 信息密度足够支撑复现准备。
  • 方法严谨度：中。planner/judge 同源、attacker 默认模型、5 类耦合度等关键 ablation 需在 paper 正文核查；本轮只能基于 abstract + README。
  • 社区契合度：高。"Agent 安全 + 长期任务 + 记忆后端"是 2026 下半年的明确热点；本工作把"长期攻击"做工程化，比纯对抗 prompt 研究更易落地。
  • 潜在风险：评测成本 + 同源偏差 + 缺乏横向对比——这是写 review 时必须正面承认的三件事。

5. 与箱内既有线索的对照

  • HORIZON（2026-07-08，长期任务诊断）：HORIZON 测的是"agent 长期任务的失败诊断"，AgentLAB 测的是"长期任务中的攻击成功"——一个偏"被动失败"，一个偏"主动攻击"，可以形成"长期任务鲁棒性"双视角。
  • MemTraceBench（2026-07-10，操作级记忆归因）：Memory Poisoning 攻击正是 MemTraceBench 操作级归因的新靶点；建议未来一轮做"MBA（Memory-Backdoor Attack）+ MemTrace 归因"联合实验，看归因能否定位被污染的操作。
  • LifeBench（2026-07-11，非陈述性记忆评测）：LifeBench 的"non-declarative memory"与 AgentLAB 的 "Memory Poisoning"形成天然交叉——LifeBench 可被扩展为"记忆后端对抗评测"基线。
  • AgenticRAGTracer（2026-07-04，hop-aware RAG benchmark）：RAG 是 Memory Poisoning 的核心入口；AgenticRAGTracer 的 hop 失败归因可以告诉 AgentLAB 的攻击者"哪一跳最容易污染"。
  • Vera（2026-07-05，证据闭环 agent 安全）：Vera 偏"如何把证据闭环用作防御"，AgentLAB 偏"如何攻击"。两者组合是"安全防御—攻击评估"双轨。

6. 是否建议入库 / 后续验证动作

  • 建议入库：reviews/2026-07-agentlab-long-horizon-attacks.md 或归入 notes/agent-security.md 新建章节"长期攻击评测"。
  • 建议主题页更新：在 notes/agent-evaluation-benchmarks.md 增补 AgentLAB 条目，注明"长期攻击 / 多代理攻击框架 / 记忆污染"标签；在 notes/memory-systems.md 增加交叉引用"Memory Poisoning × MemTraceBench 联动"。
  • 后续验证动作（不必本轮做）： 1. 抓 paper v1 正文与附录，确认 planner/judge ablation、attacker 默认模型、5 类耦合混淆矩阵、与既有 benchmark 的横向对比。 2. 核查 github.com/TanqiuJiang/AgentLAB 的 LICENSE、requirements、CLI 安装文档、conda 环境可复现性。 3. 评估复现最小代价：1 个受害者（GPT-5.1）+ 1 个 attacker（本地 Qwen-7B）+ 1 类攻击（Memory Poisoning）+ 1 个环境（AgentDojo subset），估算 token / 美元成本。 4. 与 LifeBench 作者沟通能否把 Memory Poisoning 攻击作为 LifeBench 的扩展维度。 5. 跟踪 Substack 上"2026 mid-year agent security roundup"中 AgentLAB 的引用频次，作为工业界呼应度指标。

7. 一句话归档意见

建议入库：reviews/2026-07-agentlab-long-horizon-attacks.md + notes/agent-evaluation-benchmarks.md 与 notes/agent-security.md 双页更新。可信度中上；最大风险是 planner/judge 同源偏差与评测成本；最大价值是把"长期攻击"做成工程化基准，与箱内"长期任务诊断 / 记忆归因 / 长期多源记忆"形成完整闭环。下一步要做"ablation 核查 + 最小复现成本估算 + 与 MemTraceBench 联动实验设计"三项补查。