NRGPT 论文：让 GPT 推理显式建模为能量面下降
burkov · x · 2026-11-04
Andriy Burkov 介绍了 NRGPT 论文：探讨 GPT 式的 next-token 预测能否改写为能量模型（energy-based model）——把推理理解为在能量地形上朝更合理的 token 表示移动。若有显式能量函数，模型行为会更容易分析，并为更灵活的推理与控制打开空间。
- 作者设计了保留 GPT 因果（自回归）结构的类 GPT 架构，token 表示的反复更新由能量函数的梯度导出，包含 token 级的 attention 能量与 feed-forward 能量
- 实验在嵌套算术任务（ListOps）、莎士比亚文本以及 OpenWebText 大规模网页语料上，与基线进行对比
「研究」频道最新
- Realtime-Bench 实测:最强模型仅 36% 任务可靠通过 — ManlingLi_ · 2026-11-04
- 把 1.7 万参数神经网络当文本喂给 LLM,模型竟看懂它在玩 Pac-Man — JnBrymn · 2026-11-04
- AI 研究员:快速智能爆炸证据有限,瓶颈更可能在扩散而非 RSI — pwlot · 2026-11-04
- Value Forcing：在每层噪声强制 Bellman 一致，小数据也能估准价值函数 — _onionesque · 2026-11-04
- 阿里 SPAR 销售智能体实测：20 万商家转化率提升 15.8% — ycombinator · 2026-11-04
- ScienceRSI 跨规模迁移实验：小模型专家让 27B 提升 6.7 个百分点 — jiqizhixin · 2026-11-04