iamtrask：LLM 本质是在学一张按稀疏形式存储的巨型预测矩阵
iamtrask · x · 2026-11-12
Andrew Trask(iamtrask)用矩阵类比解释 LLM 在学什么：想象一个矩阵，行是百万 token 上下文窗口中所有可能的 token 组合，列是对应的下一个 token 频率分布——LLM 学习的就是填这张表。
他补充：我们从不完整渲染这个矩阵，因为那是在浪费空间；实际是以稀疏形式存储，而这份「稀疏表示」就是 token 训练数据本身。这是对「LLM 到底在压缩什么」的一条简洁直觉解释。
所属事件:iamtrask 用巨型预测矩阵类比解释 LLM 在学什么(2 条相关)→
「研究」频道最新
- CoRL 2026 开设「持续自我改进机器人」工作坊,倡导体验时代范式 — chris_j_paxton · 2026-11-12
- AI 智能体考古：178 处 LiDAR 提交中 4 处获考古学家确认为新遗址 — BorisMPower · 2026-11-12
- 千名高中生研究:GPT-4 辅导提分 48%,撤掉后成绩反低 17% — tallmetommy · 2026-11-12
- 新方法让智能体在不确定性下遵守信念依赖规则，合规率提升18倍 — StephenLCasper · 2026-11-12
- 直驱+液冷新一代机器手发布，从执行器根治灵巧手发热难题 — ybisk · 2026-11-12
- CMU Griffin 实验室 AI4BIO Fellows 博士后项目招募倒计时 4 天 — niloofar_mire · 2026-11-12