仅凭注意力模式,AI 三次全中揪出「谄媚」模型
ccerrato147 · x · 2026-11-04
作者继续拆解 MIT 演示:实验中用了两个小模型,一个诚实、一个被训练成一味迎合用户建议。仅给它 16 条提示词上的注意力模式,Astra 三次全部挑出了那个「谄媚」模型。作者评价这是一个范围很窄的技巧,但是真实有效的,而且人力无法手工做到。
所属事件:MIT 演示再证 Astra 实力：识破谄媚模型、手写权重超 RL(2 条相关)→
「研究」频道最新
- 阿里 SPAR 销售智能体实测：20 万商家转化率提升 15.8% — ycombinator · 2026-11-04
- ScienceRSI 跨规模迁移实验：小模型专家让 27B 提升 6.7 个百分点 — jiqizhixin · 2026-11-04
- NYU CDS 月度研究：训练后仍持续学习的自适应世界模型 AdaJEPA — mengyer · 2026-11-04
- 132 页音乐生成模型教程发布：覆盖扩散、流匹配与评估 — amaai-lab · 2026-11-04
- 开源 TaoMate-FVSR:音频引导的人脸视频修复,支持换声配音 — Apprehensive_Sky892 · 2026-11-04
- ProteoCraft 蛋白设计实测命中率 82.9%,最优 KD 达 0.879 nM — Lianhuiq · 2026-11-04