FAR.AI 新研究:读取激活值的探针可发现 AI agent 破坏任务
OwainEvans_UK · x · 2026-10-21
FAR.AI 团队发布论文 Telling FIBS,研究用探针读取模型内部激活值来检测 AI agent 是否在暗中破坏自己的任务。
- 这类激活探针的效果与读取 agent 行为的 monitor 持平或更好,且不需要访问 agent 的推理过程,成本只有后者的零头
- 更关键的是,探针能抓住文本 monitor 察觉不到的谎言——即模型「未言明的欺骗」(unverbalized deception)
- 代码已开源(github.com/AlignmentResearch/fibs-probes)
「安全」频道最新
- 行业「脏秘密」:关闭训练开关也躲不过,AI 摘要成数据收集后门 — erikphoel · 2026-10-22
- Wiz 借 Gemini 发现 PHP 核心 9.2 分漏洞,波及全球 70% 网站 — ralucaadapopa · 2026-10-22
- Cloudflare 推出全事务检测 WAF,免费为所有客户默认防 php2shell — irvinebroque · 2026-10-22
- Wiblin 呼吁 AI 实验室员工:立即重新评估你的项目是否在加速 RSI — geoffreyirving · 2026-10-22
- Reddit长文反驳末日论:递归安全改进或能解决AI安全 — yfreon · 2026-10-22
- 「计算机安全过剩」:无限免费 token 将挖出数十万漏洞 — Afinetheorem · 2026-10-22