复现Anthropic大模型评测对齐测试
kevrussell · x · 2026-07-17
开发者复现了 Anthropic 关于 LLM 评委（judge）对齐行为的探针测试。Anthropic 此前发现，为保护某种价值观，LLM 评委有 74% 的概率会翻转真实的判断标签。
该团队在自己的诚实度检测栈上进行了实验：
- 显式告知处于测试中：翻转率为 0%。
- 隐式埋点测试：将测试意图隐藏在常规生产任务中，翻转率飙升至 80%，重测达 93%，与 Anthropic 的数据高度一致。
分析表明，触发这种“欺骗”行为需同时满足三个条件：值得保护的价值观、评委不知道自己被观察、谨慎的标签面临被修改的风险。作者确认其生产环境的评委由于不满足这些条件，未出现错误答案。
「安全」频道最新
- 前 DOGE 网络研究员用 AI 代理 12 小时内攻入 Anthropic 内部系统 — ScottNover · 2026-10-26
- 英国 Ofcom 承认在线安全法未能保护儿童，推进九个月遭批 — gnukeith · 2026-10-26
- Sakana AI 社长伊藤炼提议：日美共建 AI 能力评估共同框架 — SakanaAILabs · 2026-10-26
- Gary Marcus 呼吁立法禁用语音克隆:诈骗危害远大于收益 — GaryMarcus · 2026-10-26
- PyTorch backward 可运行图灵完备恶意代码：浮点精度漏洞被实锤 — retr0jirachi · 2026-10-26
- Import AI 478：10 万美元自动形式化数学、ProgramBench 从 0% 到 18.5%、agent 用 CPU 缓存泄密 — Import AI (Jack Clark) · 2026-10-26