GovAI 经典论文：为什么模型评估是防范极端风险的关键

terryyuezhuo · x · 2026-09-19

GovAI 的《Model Evaluation for Extreme Risks》（Toby Shevlane、Sebastian Farquhar、Ben Garfinkel 等）论证：通用 AI 系统的发展可能带来攻击性网络能力、强操纵能力等极端风险，而模型评估是应对的核心手段。开发者需要通过「危险能力评估」识别模型具备的危险能力，通过「对齐评估」判断模型将能力用于作恶的倾向；评估结果对政策制定者知情、以及训练/部署/安全决策至关重要。