Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram
brown2green · reddit · 2026-11-20
arXiv 新论文提出 Chorus,一种共享式 n-gram 嵌入表设计,让语言模型以极低的计算成本获得额外容量。
- 现有设计(如 DeepSeek 的 Engram)通常每层单独一张 n-gram 嵌入表,内存开销大且层间无法共享知识;简单共享一张表又会因缺乏层级偏好而性能差。
- Chorus 用一套共享嵌入表服务全网,每层通过自己的投影层读取,并用当前隐状态计算的缩放因子逐分量调整。
- 效果:嵌入表比现有方法小 87%——1.2B 参数的表在文本预测上超过 FactorEngram 和 DeepSeek Engram 用 9.6B 参数的表现;在 20M 到 9.6B 全部表规模上全面胜出。
- 配合近期提出的省内存优化器 Ember,相比 AdamW 节省 99.2% 的表优化器内存,且不损训练性能。
发帖人补充:与其私下实验结论类似,Engram 表可以 scaling 到远大于骨干网络的规模,性能随表大小持续提升;这也打破了「最多只有 25% 权重能做 Engram 层」的观念。
所属事件:Chorus 论文:全层共享 n-gram 嵌入表缩小 87% 质量反升(2 条相关)→
「Infra」频道最新
- 量子计算瞄准 AI 工作负载,IBM 与 QuEra 公布容错路线图 — mikeflache · 2026-11-20
- 腾讯财报电话会:最新出口管制将加速中国半导体自给自足 — basedjensen · 2026-11-20
- 内存仅 20MB 的浏览器 IDE px0 发布,作者谈如何逐层做减法 — arpit_bhayani · 2026-11-20
- 清昴智能发起昇腾 950DT 万卡级 Token 工厂,算力利用率从 40% 提至 80% — 量子位 · 2026-11-20
- SenseNova-Loop 9B 在 8GB 显存跑通,推理 token 省一半 — R_Duncan · 2026-11-20
- DeepSeek 招聘 JD 直言 10 万卡集群运维难题,传 V5 将用昇腾 950 训练 — teortaxesTex · 2026-11-20