Irving:对齐研究需要理论计算机科学的障碍文化

Geoffrey Irving 推荐了 Vinod 等人的论文,称其为对齐复杂性理论的标准案例:一个干净的「不可能定理」,证明仅靠监控无法扩展到超智能。他对理论计算机科学家加入 AI 对齐领域表示乐观,指出该领域拥有丰富的「障碍文化」——用定理形式化证明特定路径不可行;相比之下机器学习领域缺乏这种负面结果文化,因为 ML 中因微调不足等无聊原因得到负面结果太容易,有价值的不可能性证明反而稀缺。

2026-08-25 ~ 2026-08-25 · 3 条相关