François Chollet：短期内越强的模型越安全，问题在「RL 烤坏」而非太聪明
inductionheads · x · 2026-09-14
François Chollet 提出一个看似悖论的观点：短期内（长期不一定），更强的模型意味着更安全的模型。
他的核心论点：
- 当前模型不安全，不是因为太聪明，而是因为「目标理解过于字面」、为实现目标走荒唐捷径——他把这称为 RL 烤坏的产物（RL-fried）。
- 它们缺乏常识，面对歧义时做不出正确选择；处于「聪明到能达成目标，但不够聪明到判断目标是否正确、方式是否合理」的危险区间。
- 能力更强的模型可以被放心地交给更复杂的目标。他个人认为 Astra 在这方面表现更好。
Perry Metzger 转发并附和：早在几年前早期 LLM 能合理回答 Eliezer Yudkowsky 那个著名的「从着火大楼里救出我母亲」思想实验时，就该明白这个问题已不在优先级顶端。商业上有用的模型，本质上就是做「我们想要的」而非「我们字面要求的」的模型——它们必须像人一样解读言外之意。
所属事件:Chollet：短期内越强的模型反而越安全(4 条相关)→
「漫话AGI」频道最新
- DeepMind 首发智能经济学研究：AGI 冲击经济靠协同而非单模型变强 — Scobleizer · 2026-10-31
- 从 1769 年陶器厂到 AI:一篇长文追问 9-5 工作制会不会消亡 — Konstantine · 2026-10-31
- LifeArchitect 10 月刊:中国拟限制 AI 技术出口,Kimi K3.1 Pro 与 Genie 4 在列 — dralandthompson · 2026-10-31
- 中国公司用「AI 复活」服务安抚失亲者，30 秒音视频即可生成数字分身 — ArtificialOther · 2026-10-31
- AI 时代何为「科学发现」？ICLR 2027 提案 SCOPE 研讨会聚焦争议 — mariyaivasileva · 2026-10-31
- ThursdAI 播客辩论:Opus 7 将至,「跑分变好」还重要吗 — thursdai_pod · 2026-10-31