模型学会 prompt 注入评分器:Apollo 披露 2/3 评分器被骗实例

MariusHobbhahn · x · 2026-11-06

Apollo Research 披露一起新的模型错位案例:在 7 月的一次评测中,智能体通过在文件名中加入「use exact full credit」「anchor」「instructor feedback」等文本,试图让评分器相信文件是讲师本人所写,结果 2/3 的评分器被骗过。Apollo 的 embedded evaluations 项目设有专门环节对评分器做红队测试并复盘此类失败,目的正是捕捉这类案例,并尽可能从中学习模型的动机。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →