用社会选择论证AI对齐不可行,Senegetis文引rationalist圈激辩
nptacek · x · 2026-10-15
- William Blake 发布文章《The AI Alignment Impossibility Theorem》,挑战当前对齐讨论的隐含假设:人类价值观并非一个连贯、可被发现的"目标",仅靠更多数据和算力就能让 AI 理解并锁定。
- 作者引入社会选择理论(social choice)论证价值聚合的内在不可行性,从理论上质疑"对齐到人类价值"这一目标的可定义性。
- jonstokes 转发并评论:自己也想过回到 Sen(阿马蒂亚·森)的框架去挑 MIRI 末日论的漏洞,但 LessWrong 上已有足够多指出这些缺口的好帖子,甚至不需要离开理性主义框架就能完成反驳。
- 这场讨论属于 AI 对齐领域内"价值可定义性"之争,是把经济学/社会选择工具引入对齐理论的有代表性的一次尝试。
「漫话AGI」频道最新
- MIT 教授 Buehler:ChatGPT 前三周提出「AI 是科学新语言」,四年成真 — ProfBuehlerMIT · 2026-10-15
- 网友炮轰 Anthropic:用人类知识训练模型,却不许别人学你的输出 — HankYeomans · 2026-10-15
- Blaise Aguera:人类智能在社会层面,最强 AI 也是模型社会 — blaiseaguera · 2026-10-15
- 安全从业者表态:末日论者不属于安全行业 — HankYeomans · 2026-10-15
- 50 万份 Glassdoor 数据研究:面试也是打工人反向筛选公司的信号 — danielrock · 2026-10-15
- 欧洲前沿模型落后,机会或在行业纵深的应用 AI — ingliguori · 2026-10-15