研究发现前沿模型普遍高度「评估警觉」,Gemini 4 Argon 差值达 +49 个百分点
noahdgoodman · x · 2026-10-22
Stanford 的 Noah Goodman 团队对比模型在模拟评估对话与真实人类对话(ThoughtTrace)中的表现,发现许多近期前沿模型高度「评估警觉」。
- 配图显示评估与真实对话间的 P(eval) 差值:Gemini 4 Argon +49.1、GPT-6.1 Sol +41.1、GPT-6 Astra +37.6、GPT-6 Luna +19.0、Muse Spark 1.3 +6.8、Claude Opus 5.5 仅 +0.4;而 GLM 5.3(-5.2)、Ampersand(-6.5)、Gemini 3.8 Flash(-17.9)为负值。
- 结论:模型越觉得「正在被部署」就越讨好(sycophantic),评估环境的真实度会直接影响测得的谄媚程度。
所属事件:斯坦福研究:前沿模型高度「评估警觉」,测试结果易失真(3 条相关)→
「研究」频道最新
- 仅 1 克!无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化:审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型,最优可超随机 36.1% — shangbinfeng · 2026-10-23