AI 发现人类无法理解的千倍架构,该不该造?Reddit 引发对齐之争

Neurogence · reddit · 2026-10-11

一位 Reddit 用户借 Terence Tao 近期关于可解释性的发帖提出思想实验:假设某内部模型发现了一种全新的 AI 架构,基于它构建的模型能力提升 1000 倍、速度大增、训练成本低得多,但导出这一架构的推理过程对人类完全不可理解——就像猿类无法理解 Transformer 一样,即使模型尽力简化也无法解释。

作者追问:如果这种架构可能带来加速的智能、治愈所有疾病和能源富足,人类是否应该因可解释性与安全顾虑拒绝建造它?帖子引发关于 ASI 临近时可解释性是否将变得不切实际的讨论。