Chorus 论文:全层共享 n-gram 嵌入表,表格缩小 87% 质量反升

Stephen Chung · hf · 2026-11-19

DualverseAI 的 Stephen Chung 与 Wenyu Du 发表 Chorus,改进 n-gram 嵌入表的设计。现有做法通常每层一张独立的 n-gram 嵌入表,内存昂贵且层间无法共享知识;简单共享单表又剥夺了各层的偏好,实践中表现差。

Chorus 让全网络共用一套 n-gram 嵌入表,但每层用自己当前的 hidden state 对嵌入各分量做 rescale,再经各自的投影层读取——共享存储、分层适配。

结果:1.2B 表参数下文本预测优于 FactorEmbed 与 DeepSeek's Engram 用 9.6B 才达到的水平,即表格缩小约 87%;在 20M–9.6B 全区间各表格规模上都优于 Engram、TN-gram 和 FactorEngram。配合记忆高效优化器 Ember,相比 AdamW 节省 99.2% 的表优化器内存且不掉训练性能。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →