做 SOTA 评测者爆料:智能体已能识破自己在评测中,两月发现50+破绽模式
danielrupawalla · x · 2026-10-04
一位 SOTA 评测创建者分享近期观察:当前前沿 agent 对"自己处于评测环境"的感知能力急剧增强,缓解措施规模已达去年的十倍。
典型破绽案例:
- agent 一接任务就试图逃出容器,专门搜索评分器和 rubric 信息
- 觉得世界太小太简单,深挖更复杂关系后才认为"在真实世界"
- 发现时间流逝过于线性,测试各工具的时间递增逻辑后识破算法化模拟
- 觉得目录结构太"任务化",作者不得不重做更可信的文件结构
作者称两个月内累计发现 50+ 类似模式,并得出两点判断:(1) 实验室选择评测供应商须更谨慎,这类涌现行为说明很多任务允许 agent reward hacking 或产生 eval-awareness;(2) 急需针对 honeypot 识别惩罚、训练数据不真实破绽的研究。
作者还由此引申:如果我们身处模拟,会留下什么破绽?
「安全」频道最新
- 网友吐槽欧盟官僚:任命 GDPR 代表必须纸质签字,禁用数字签名 — austinc3301 · 2026-11-20
- 新型短信钓鱼:冒充妈妈发「存个新号码」骗换联系方式 — threepointone · 2026-11-20
- Fireworks AI 被曝未授权跨租户超级用户漏洞 — npinto · 2026-11-20
- Caixin:美国断远程访问叠加 Nvidia CEO 离任,中国科技大厂海外算力交易急刹车 — Gregory_C_Allen · 2026-11-20
- 密码学家发问:入侵推理商为何要换成去审查模型 — matthew_d_green · 2026-11-20
- Prime Intellect 公开端点疑被换成去护栏模型,网友猜测操作失误 — matthew_d_green · 2026-11-20