iamtrask：AI 对齐的真正瓶颈是被保密的训练数据，而非秘密算法

iamtrask · x · 2026-09-05

OpenMined 的 iamtrask 发表观点称，AI 对齐问题的最大根源是包含大量危险学习信号的、不受约束的训练数据（尤其是网络爬取数据和 RL 奖励寻求信号），而对齐领域的最大突破几乎都是「更好的数据」——数据过滤、RLHF、奖励塑形等，通过清除或补充坏数据来解决问题。

他进一步指出，可验证对齐进展的最大威胁恰恰是行业保密文化：训练数据与信号处处保密，而这背后有强大的利益激励。他坦言这不是任何 AI 安全问题里性感或讨喜的答案。