Boaz Barak 长文警告：对齐技术缺乏实证验证，厂商却在冲向递归自我改进
davidmanheim · x · 2026-09-07
David Manheim 引用 Boaz Barak 的长文并评论，直指前沿 AI 实验室的核心矛盾：
- Barak 原文主张，要避免权力集中、确保人类掌控，需要「全套方案」：目标与价值对齐、合规与人设、行为与监控、协调与监管，缺一不可
- 文中一句关键论断被 Manheim 强调：「在实践中，我们实证验证对齐技术的能力，可以说比对齐技术本身更重要」
- Manheim 批评：尽管如此，各实验室仍在竞相推进，等于明知验证手段无法泛化，却要迈向递归自我改进（RSI）
帖子浓缩了当前安全研究圈对「验证能力跟不上能力扩张」的代表性担忧。
「漫话AGI」频道最新
- tenobrus:人类为中心的代码架构准则未必适用于超能力模型 — ricklamers · 2026-09-07
- 作者拆解42种AI私募整合基金并逐一点评 — curious_vii · 2026-09-07
- OpenAI 研究员四个月从三成到四分之三并行跑 4+ 个 agent — rohanpaul_ai · 2026-09-07
- OpenAI 首席科学家警告冒进竞赛荒谬,业界担忧者未意识到风险 — AdrienLE · 2026-09-07
- OpenAI 首席科学家发文「异类心智」,谈 RSI 与放慢 scaling — Bloated_Plaid · 2026-09-07
- OpenAI 发布《An Alien Mind》:首席科学家论智能与对齐 — bparrish · 2026-09-07