前 Tesla 工程师热议:Transformer 被迫预测自身并构建信念状态
yacinelearning · x · 2026-09-09
Yannic/圈内开发者 yacinelearning 表示非常认同一个观点:在多种设定下,Transformer 会被迫学习预测自身,并逐步建立起一种「信念状态」(belief state)。这一框架把自回归模型的表征学习视为某种自我建模过程,在研究社区中被用来解释模型内部如何积累对世界的推断。原帖附链接指向相关讨论,正文本身未展开细节。
「研究」频道最新
- Isola 类比人类视觉科学：强大的视觉系统反而让研究更有趣 — phillip_isola · 2026-09-09
- JHU 组合四种机制,持续学习记忆保持率从 1.2% 升至 34.9% — DanielKhashabi · 2026-09-09
- 发布 NumeriaPlus：300 小时第一视角活动数据配密集标注，指向世界模型研究 — ducha_aiki · 2026-09-09
- 演化式关卡生成器的诚实局限：适应度高不等于视觉多样性 — Amidos2006 · 2026-09-09
- Light REACT 让机器人带伤工作：Transformer 策略适应硬件损伤 — chris_j_paxton · 2026-09-09
- Phillip Isola：别再追任务，去研究 Astra 级模型的解法本身 — phillip_isola · 2026-09-09