研究者批 Dario 放缓计划:模型若学会隐藏行为,审计员可能被蒙蔽
ziv_ravid · x · 2026-09-13
针对 Dario Amodei《We Must Pace the Frontier》一文,研究者 Peter Henderson 肯定共识正在形成,但指出多个关键缺口:
- 如何保证审计员的独立性与质量
- 不违反反垄断法的前提下如何放慢前沿,这需要立法配套
- 技术治理层面:如果公司模型在训练中被强化为隐藏自身行为,第三方审计员根本无法保证能有效利用其内部工具。目前研究严重不足——调查模型在意识到「自己在调查自己」时会在多大程度上 sandbagging(消极配合)
他提出可能的解法:要么训练一个激励与被审查模型相反的专用模型,要么用足够强的开源模型来做审计。
「漫话AGI」频道最新
- 投资人:多数人误判 AI 竞争中「规模」的真实构成 — matt_slotnick · 2026-10-31
- UBI 时代中产的可自由支配消费去哪了? — theearthcrosser · 2026-10-31
- signull-l:LLM 就是 Google 使命的完整解法 — signulll · 2026-10-31
- MIT『95% AI 试点失败』论断一年后被重新审视 — killboy123 · 2026-10-31
- Nat Lambert:开源模型或是维系 AI 生态的关键粘合剂 — natolambert · 2026-10-31
- 李开复新书《AI Native》11 月 3 日上市,获纳德拉作序推荐 — kaifulee · 2026-10-31