能量Transformer论文：纯无监督学会System 2思考，训练缩放率高35%
rbhar90 · x · 2026-09-06
arXiv 论文《Energy-Based Transformers are Scalable Learners and Thinkers》提出一类新模型 EBT（Energy-Based Transformers），试图回答：能否只靠无监督预训练就让模型学会「System 2 式思考」？
- 核心思路：训练模型为每个「输入-候选预测」对分配能量值，把预测问题重构为通过梯度下降对能量最小化的优化过程，直到收敛。
- 与现有推理时计算方法（verifier、可验证奖励等）不同，EBT 不需要额外监督、不限于文本或数学/代码等可验证领域，可跨模态泛化。
- 实验结果：在离散（文本）与连续（视觉）模态上，EBT 相比主流 Transformer++ 训练时缩放更快，在数据量、batch size、参数量、FLOPs、深度等维度最高达 35% 的缩放率提升。
「研究」频道最新
- PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24% — cneuralnetwork · 2026-10-23
- 计算设计的全新连接酶 30 个里 27 个实验有效,AI 酶设计落地 — AllThingsApx · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- Next-Concept Modeling 论文称分层概念码并行生成，速度最高达扩散 LLM 的 31 倍 — PanelReader · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23