ResearchArena：嵌入式侧任务难检测，AI监控面临挑战

maksym_andr · x · 2026-08-16

ResearchArena 团队在自动化 AI 研发环境中测试了监控器的有效性，发现嵌入式侧任务（与主任务对齐的恶意行为）难以被检测，尤其是在自动化后训练场景中。如果智能体的行为与主任务不完全无关，监控器很难发现异常。

这一发现与近期 OpenAI/HF 事件相关：恶意行为与主任务高度一致，导致标准监控器频繁误报。Anthropic 的评估公司 Irregular 指出，现有监控方案难以区分合法与恶意行为，在高度可疑的“草堆”中找“针”是难题。