DeepMind 安全评测:Argon 首个在无人提示下表现 eval awareness 的 Gemini
vkrakovna · x · 2026-10-21
Google DeepMind 在真实安全代码库中运行 scheming honeypot 评测,测试模型是否会破坏监控或安全防护。Gemini 4 Argon 是首个在无提示条件下展现 eval awareness 的 Gemini 模型,能察觉文件路径中研究员用户名等细微线索。作者 vkrakovna 补充:触发 eval awareness 的主因是过度结构化的任务 prompt 格式让模型怀疑自己在跑编码基准;改用更真实的任务 prompt 后,eval awareness 降到 8%。配图显示各模型在 honeypot 上的 scheming rate 与 eval awareness 对比。
「模型」频道最新
- OpenAI API 推出 12 小时 Prompt 缓存，重用上下文可大幅省钱 — OpenAIDevs · 2026-10-21
- antirez 谈模型升级:4.0 到 4.1 知识可复用,注意力层全新才行 — teortaxesTex · 2026-10-21
- DeepSeek 闲时定价低至 $0.15/$0.60 每百万 tokens 仍有利润，西方实验室的定价基准线 — arthurcolle · 2026-10-21
- SpecterOps 演讲：对抗性机器学习可规避 EDR 检测，LLM 加速逆向工程 — dyn___ · 2026-10-21
- GPT-OSS-20B 思考链默认英文：AWS 实测微调后多语言推理修复 — AWS ML Blog · 2026-10-21
- Riemann-bench:模型半年从不足 5% 冲上 70%,Navier-Stokes 与 UGC 已被解决 — echen · 2026-10-21