AI 安全研究者警告:圈层观点趋同快起飞论正在损害认知环境
sayashk · x · 2026-11-19
AI 安全研究者 Sayash Kapoor 发长文警告:AI 安全社区正快速收敛于「一年内快起飞」的判断,但这依赖来自 AI 公司的少量低质量数据点和有争议的世界模型,会恶化认知环境、让当下事实都难以裁定。
他指出五种表现:
- 基于有限证据大幅更新:评论者围绕基准分数推断 2027 年出现超级智能,但可基准化的东西本质上可被 RL 优化刷分,信号有限。
- 只盯着 AI 公司做分析:忽视 AI 在社会中的扩散与外部机构的适应。近期 Microsoft、United、NSA 故障和 FAA 停飞都被含糊归因于「AI 网络攻击」,实际无一成立——NSA 故障恰恰源于用 AI 工具修补漏洞后的扩散效应,却因不如攻击叙事抓眼球而被忽略。
- 偏好生硬干预、忽视制度建设:主流政策建议趋向全面禁止 AI 训练等非常规政府行动,甚至滑向威权;而前沿模型训练成本快速下降,禁令既挡不住风险,也让社会在模型开放或对手国家造出时毫无准备。
他呼吁即便相信迫近超级智能风险的人,也应看到社区认知同质化不健康,应为一系列情景而非单一威胁模型做准备。
「漫话AGI」频道最新
- a16z 对谈:AI 越强,未来反而需要更多数学家 — soumitrashukla9 · 2026-11-19
- AI 圈争论:断言「LLM 永远缺 X 能力」是否重蹈覆辙 — teortaxesTex · 2026-11-19
- 马斯克:超级智能超越全人类不可避免,须让它关心人类 — XFreeze · 2026-11-19
- OpenAI 董事会成员放话:AI 一年内可能让人类沦为被奴役 — AIandDesign · 2026-11-19
- 观点:软件将消失,Agent 按需生成最顺手的界面 — dreamwieber · 2026-11-19
- 马斯克预言:超级智能算力终将 100% 移上太空轨道 — elonmusk · 2026-11-19