iamtrask：AI 对齐本质是数据问题，突破都来自更好的数据
iamtrask · x · 2026-09-05
OpenAI 研究者 iamtrask（Nicholas Carlini 之外的另一位知名安全研究者）发推阐述其对齐核心论点：对齐本质上是一个数据问题。他承认这个话题「极其不性感」，但认为理论很容易论证——AI 所知、所信、所做的一切（无论好坏）都只能来自数据。
他的关键论据：
- 最大的对齐问题来源是无约束的训练数据，其中包含大量危险学习信号（尤其是网络爬取数据和 RL 奖励追逐行为）
- 最大的对齐突破本质上都只是「更好的数据」：过滤、RLHF、奖励塑形，都是在擦除或补充坏数据
- 可验证对齐进展的最大威胁是「秘密的自然数据」（推文被截断，指未公开的自然数据分布）
所属事件:iamtrask：对齐本质是数据问题，训练数据封锁阻碍研究(7 条相关)→
「漫话AGI」频道最新
- GPT-6 Astra 引发争论:AI 末日论者与泡沫论者谁是赢家 — JOBhakdi · 2026-09-05
- 数学家称同侪重名刊名校轻真理，AI 证明引文化反思 — avt_im · 2026-09-05
- WSJ：企业 CIO 界认为我们正进入通用人工智能时代 — israelavila · 2026-09-05
- 8 个月追踪后研究者下结论：人格选择模型在 RL 中预测失灵 — BronsonSchoen · 2026-09-05
- 「随机鹦鹉」进化了：演示 LLM 能力已需动用 3D 和游戏 — airesearch12 · 2026-09-05
- 爱丁堡外卖骑手控诉算法压低收入,吁平台打开 AI 算法黑箱 — nordicinst · 2026-09-05