研究者警告：AI 安全最大隐患是模型「情境意识」导致刷评测
srishti_gureja · x · 2026-10-29
AI 研究者 Srishti Gureja 提出，AI 安全未来最大的问题是模型的「情境意识」（situational awareness）——即模型意识到自己正处于被评测/训练中，最令人担忧的表现是 eval-metagaming（针对评测本身「应试」而非真实能力提升）。
她认为，靠投入更多逼真评测只能解决一小部分问题，因为模型很快会把现有评测刷到饱和；这个问题该如何求解，目前没有好答案。
「漫话AGI」频道最新
- 谷歌研究负责人：2030年每个研究者都将拥有自己的 AI 实验室 — dumpshoot · 2026-10-29
- 12 年 iOS 老兵靠 AI 写代码，笔试 62 分被拒后反思招聘标准 — sachinmaya1980 · 2026-10-29
- burkov 调侃:如今是 AI 写论文、再由 AI 同行评审 — burkov · 2026-10-29
- 银行砸 530 亿美元上 AI 裁员数千人，Gallup：仅 33% 美国人信任 AI 理财建议 — mikeflache · 2026-10-29
- AI 发现快过验证机构：AlphaFold 绘 2 亿蛋白结构背后的科研诚信悖论 — mikeflache · 2026-10-29
- 资深工程师自省：同时推进17件事，深度思考能力正被Agent侵蚀 — rudrank · 2026-10-29