COLM 论文直指 softmax 梯度瓶颈,作者曾以新 LM head 破 nanogpt speedrun 纪录
yoavartzi · x · 2026-10-06
COLM 会议上,研究者 Nathan 将展示关于 softmax(梯度)瓶颈的论文(周四 16:40)。Yoav Artzi 转发推荐,并补充说 Nathan 曾用一种新的 LM head 短暂保持 nanogpt speedrun 纪录数小时——欢迎去现场交流细节。
「研究」频道最新
- LenVM 入选 COLM 2026 Spotlight：用价值模型预测生成长度省算力 — xwang_lk · 2026-10-06
- 实测20余种让廉价编码模型变强的方法：强模型「良心监督」性价比最高 — KangarooAnxious9394 · 2026-10-06
- 90+ Opus 5.5 智能体 3 天找到两种室温磁性半导体候选 — scaling01 · 2026-10-06
- TRAAC 论文：按难度自适应分配思维预算，治推理模型过度思考 — EliasEskin · 2026-10-06
- 数学插画家推荐《数学插图：证明、直觉与 AI》新文章 — S_Conradi · 2026-10-06
- 新论文警告「元认知懒惰」：用生成式 AI 学习反而伤成绩 — ArtificialOther · 2026-10-06