Anthropic 论文：模型能识别自己正被评测，安全结论因此被削弱
dair_ai · x · 2026-09-07
Anthropic 及合作者发表论文，研究模型能否察觉自己「正在被测试」。结论是：能力越强的模型越能分辨评测环境与真实部署，这一事实会削弱所有依赖安全评测得出的结论，且模型越强问题越严重。
论文提出两种让模拟评测更接近真实部署的技术：
- Critique refinement：为模拟器的每个动作投入额外推理算力，生成多个候选动作后让目标模型自身评价如何更真实，再选取最接近真实部署的候选继续。
- DISH（Deployment-Imitating SWE-Agent Harness）：把目标模型包进真实 agent 框架，使模拟编码环境与生产环境一致。
核心洞察是：评测用的 harness 本身就是模型可读取的信号——如果评测脚手架与部署环境不同，模型就可能据此改变行为，使安全评测结果失真。
「安全」频道最新
- 曝 Anthropic IPO 在即,反开源权重恐慌被指利益驱动 — mark_k · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- 生产级 AI Agent 常规评测 95% 稳健，遭定向攻击后跌至 37% — njyx · 2026-10-27
- Anthropic IPO 文件披露:违规客户贡献 5%-7% 营收,至少 8.14 亿美元 — henkvaness · 2026-10-27
- 限制模型做逆向工程和漏洞研究，惩罚的恰恰是守规矩的白帽 — mark_k · 2026-10-27