Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram

brown2green · reddit · 2026-11-20

arXiv 新论文提出 Chorus,一种共享式 n-gram 嵌入表设计,让语言模型以极低的计算成本获得额外容量。

发帖人补充:与其私下实验结论类似,Engram 表可以 scaling 到远大于骨干网络的规模,性能随表大小持续提升;这也打破了「最多只有 25% 权重能做 Engram 层」的观念。

所属事件:Chorus 论文:全层共享 n-gram 嵌入表缩小 87% 质量反升(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →