双重特工防守代理论文被COLM接收
EliasEskin · x · 2026-07-15
这篇论文《Playing Along: Learning a Double-Agent Defender for Belief Steering via Theory of Mind》被 COLM 2026 接收。作者提出一种“AI 双重特工”设定：防守方不只是拒答，而是主动利用对攻击者的“心智理论（theory of mind）”，把对方引向看似合理、但实际上错误的信念。 论文还引入了一个新的长程对话式基准 **ToM-SB**：防守代理需要在攻击者试图套取敏感信息时，结合对对方已有认知的判断进行反制。实验显示，前沿模型在这个任务上仍然吃力；而通过 RL 训练出来的双重代理，能比提示词驱动的前沿模型做得更好。 作者进一步观察到一种“双向涌现”：ToM 能力和“骗过攻击者”的能力会相互促进，提高其中一个，往往也会带动另一个。