前 OpenAI 安全研究员:NLP 的 Calvin 指超级智能对齐计划「依赖 AI 研究员」过于疯狂

trevposts · x · 2026-11-12

NLP 安全研究员 Nathan Calvin(引用帖)指出:据他所知,OpenAI、Anthropic 及其他 AI 公司对超人类 AI 对齐的实际计划,就是「用 AI 自动化 AI 安全研究」——即用越来越难监控、本身可能未对齐的系统去解决对齐难题。他说外部常有人以为公司有更复杂的方案,但据他判断基本就是这个,并称若公众和政府知道细节会极其担忧。

另一位安全研究者(主帖)对此进一步抨击:称这个计划「真的很糟糕」,公司有道德义务尽力退出任何通往极超人类 AI 的商业竞赛、向公众告知所施加的风险、并允许对计划风险做无偏向的评估;但现实是这些公司据他所知正在游说反对最有希望刹住这趟失控列车的法律,混淆自身对风险等级的表态,最多只允许极少数有自身偏见的外部评估者获取评估所需信息。