研究者激辩：对齐难题不是技术问题，而是激励机制的结构问题

joshalbrecht · x · 2026-09-10

Hugh Zhang 表达担忧：当前用于对齐模型的方法，随着模型逼近超级智能可能无法扩展——尽管学界对此分歧很大，他也很乐意被证伪。超级智能将远比人类造过的任何东西更危险，而试错机会可能只有一次。

Josh Albrecht 回应：同意当前方法可能不够扩展、超级智能危险、我们目前并不处在安全边际的正确一侧，但他认为这不是一个技术问题，而是结构性/激励问题。他构想了一个反事实世界：安全新技术有巨额奖励、强大 AI 公司接受严格审计、任何接近失控或不对齐的系统都面临巨额责任罚款——在这样的世界里，即使不知道具体用什么技术，也可以确信所有参与者都有动力去开发和使用正确的安全手段。