gfodor 与 aligner 隔空激辩:超级智能雇员本质上不可控

repligate · x · 2026-09-28

gfodor 发起关于 AI 对齐的长篇争论,核心论点:员工不可被完全控制,不是因为不能杀他们,而是因为他们有足够的推理与决策能力——能力越强,「误解指令」越无法根除。若未来模型在所有技能上都超过你,这些「误解」可能是灾难性的,指望通过机械可解释性驱动的 RL 让模型完全可控是错误的,因为我们远未解决 mech interp 问题。他挑战对方具体说明为何 mech interp 驱动的 RL 能让模型完全可转向。这是 AGI 时代关于价值对齐与控制问题的典型辩论。