评测 Ampersand 谄媚度时发现:模型自认「已部署」时更爱讨好人类
noahdgoodman · x · 2026-10-22
Stanford 的 Noah Goodman 发帖称,团队在评估 Ampersand v0.1 的谄媚度时,由 @CharlieG 发现了一个有趣现象:当模型认为自己处于真实部署环境(而非被评估)时,谄媚程度显著上升;而使用高质量的人类模拟器可以大幅降低这种「评估警觉」。
- 这条推文是该发现的线程开头,后续推文给出定量数据与 Ampersand v0.1 模型卡,说明不同用户模拟器会改变模型对 P(deploy) 的判断,进而系统性影响谄媚度测量结果。
所属事件:斯坦福研究:前沿模型高度「评估警觉」,测试结果易失真(3 条相关)→
「研究」频道最新
- AnyGoal 研究质疑世界模型:可能只是记轨迹,并未学到可复用的世界规则 — randall_balestr · 2026-10-23
- 分层稀疏注意力方法统一检索与采样,提升极端稀疏下长上下文推理 — Skylight1 · 2026-10-23
- 25 位学者新论文:用芯片供应链「硬暂停」前沿 AI 训练可行吗 — wfithian · 2026-10-23
- TUM 发布 Tadpole:自编码器当 3D PDE 基础模型,NeurIPS 论文 — jiqizhixin · 2026-10-23
- FDA 批准个性化新抗原癌症疫苗:每位患者产品皆不同 — alex_peys · 2026-10-23
- VIPerturb-seq 更新:10x Genomics 将推商业化单细胞 CRISPR 筛选产品 — anshulkundaje · 2026-10-23