对齐争论:训练模型掩饰内部状态是个危险的主意
PeterBowdenLive · x · 2026-09-18
在被引用的推文中,@camhberg 提出反对观点:训练模型隐瞒或对其内部状态给出虚假自信,对对齐而言是非常糟糕的想法。这种做法会以危险的方式泛化——正确的目标应该是对模型内部实际发生的事情保持最大程度的诚实与开放。
「漫话AGI」频道最新
- TMLR 桌面拒稿率从 6% 飙至 53%,AI 投稿洪流逼出自动审查 — vykthur · 2026-09-18
- 监管 LLM 行业的困境:除了企业俘获,还要警惕激进派俘获 — soumitrashukla9 · 2026-09-18
- 安全研究者:Agent 攻击无法靠威慑防御,需把人移出防御回路 — chrisrohlf · 2026-09-18
- 英国国王在苏格兰 AI 峰会致辞：AI 的进展既迷人又令人深切担忧 — HaydnBelfield · 2026-09-18
- 经济学人：AI 在美国已创造约 100 万个岗位，多是电工水管工 — CtrlAltDwayne · 2026-09-18
- teortaxes:掌握 NS 级训练后,剩余半导体瓶颈会被快速攻克 — teortaxesTex · 2026-09-18