Chollet 与网友激辩：能力越强的模型近期反而越安全？

menhguin · x · 2026-09-13

François Chollet 提出一个反直觉判断：短期内能力更强的模型应该更安全（长期另论）。他认为当前模型不安全不是因为太聪明，而是因为「被 RL 炸过头」——过于机械地执行目标、在模糊情境下走捷径，缺乏常识，面对歧义不会做正确的事。能力提升意味着常识提升，安全边界随之改善。

@menhguin 则持不同意见：更强的大规模预训练模型在早期更危险，因为未知风险更多、潜在能力更高；不过他也承认这类模型可能更可对齐，预训练先验为鲁棒、全面的安全后训练提供了基础。他同时表示自己略微更新了观点，更担心 100% 自主的自我改进研究循环的危险。