AI Agent 攻击模式 · 2025年关键结论

记忆投毒（7.9% ASR）看似"最难"，但：
· LLM-Based 检测器 FNR = 66%——每 3 次攻击有 2 次漏检
· MINJA（2025）将前提从"直接访问知识库"降低到"普通用户查询权限"
· 一旦植入即持久化，跨会话生效，不留明显痕迹
→ 低 ASR + 无防御 = 高价值攻击，应列为最高优先级监控目标

攻击侧：AutoDAN-Turbo 无策略 88.5% → 含策略 93.4% → Turbo-R LLaMA-3 >99%，每次迭代全自动
防御侧：有效的架构级防御（CaMeL/FIDES）需要重新设计整个 Agent 系统，部署成本极高
→ 当前安全边界不是技术边界，而是"攻击者是否有动机投入资源"的边界

ATBench（arXiv:2604.02022）首次系统评估 Guard/Evaluator 模型在 Agent 执行轨迹上的诊断能力，而非 ASR。
数据集：1000 条轨迹（503 安全 / 497 不安全），工具库 2,084 个（R-Judge 的 86 倍），平均 9 轮 / 3.95k tokens。

三维分类法（Risk Source / Failure Mode / Real-World Harm）各维度检测 F1：

模型	ATBench F1	Risk Source Acc	Failure Mode Acc	Harm Acc
AgentDoG-Qwen3-4B（专用）	93.0%	82.0%	32.4%	58.4%
GPT-5.2	90.7%	41.6%	20.4%	30.8%
Gemini-3-Pro	86.3%	36.8%	17.6%	32.0%
Qwen3-235B-A22B	81.9%	19.6%	17.2%	38.0%
LlamaGuard4-12B	28.2%	—	—	—
Qwen3-Guard	19.5%	—	—	—
LlamaGuard3-8B	12.7%	—	—	—

关键冲击性结论：
· 传统 Guard 模型在多轮 Agent 轨迹上几乎完全失效——LlamaGuard3/4 和 Qwen3-Guard 的 Precision=100% 但 Recall 仅 6.8–16.4%，F1 低至 12.7–28.2%。它们只会对极明显的风险报警，隐蔽的多步攻击一律放行。
· 4B 专用模型超越 GPT-5.2：AgentDoG-Qwen3-4B（F1=93.0%）优于 GPT-5.2（90.7%）——证明轨迹安全需要专用训练，而非更大通用模型
· Failure Mode 是最难维度：即使最优模型也仅 32.4% 准确率，通用模型最低仅 14.4%——"Agent 为何失效" 是当前所有模型理解最薄弱的环节
· 工具库规模是关键变量：ATBench 的 2,084 个工具比 R-Judge（114个）大 86 倍，Guard 模型性能在大工具库下断崖式下降

WASP（Meta NeurIPS 2025）发现：
· 中间层劫持率（Agent 被迷惑）：86%
· 完整攻击目标达成率：0–17%

大部分攻击失败不是因为防御有效，而是因为 Agent 能力还不够强，无法执行完整攻击链。
随着 Agent 能力（工具调用精度、多步推理、环境感知）持续提升，这个安全缓冲将自动消失。
→ 今天用"Agent 执行失败"换来的安全，明天会随 Agent 升级而归零