iamtrask 长文：Transformer 权重列向量即概念检测器，可解释性被规模换掉
iamtrask · x · 2026-11-12
iamtrask 用一个理论框架解释大模型为何「部分像人、部分不像人、且充满无法控制的涌现怪癖」：
- 像人：模型从人类数据中习得了大量概念。
- 不像人：概念存在缺失，概念之间的连接也不完整（引用 The reversal curse 等实证）。物理机制上，Transformer 权重的每个列向量始终是一个概念检测器，低层检测器先捕获概念，高层检测器再将其组合；这些向量初始语义为空，由网络抓取数据、购买数据、用户日志、人工标注等填充。
- 不可控的怪癖：概念容量过大，没有人真正在审计它们——大约 15 年前业界用可解释性换取了超大规模；而前沿实验室有巨大商业动机不去解决这个问题，因为一旦解决会暴露严重的 IP 风险。
「漫话AGI」频道最新
- Andrew Trask：预训练/后训练的界限终将消失，统称训练 — iamtrask · 2026-11-12
- dioscuri 逐条批驳三个 LLM 流行隐喻:服务论、代理论各有盲区 — dioscuri · 2026-11-12
- Nic Carter:担心 2026 年 AI 过剩就像 1910 年担心石油过剩 — 0xAllen_ · 2026-11-12
- 黄仁勋反对比尔·盖茨机器人税:我对 AI 财富分配看法截然不同 — Kyrannio · 2026-11-12
- 分析称黄仁勋风波或重创美国开源 AI 生态,抬高创业门槛 — keerthanpg · 2026-11-12
- 盖茨称愿支持放缓 AI,数小时后英伟达宣布为 AI 加速供资 — Kyrannio · 2026-11-12