Chorus 论文:全层共享 n-gram 嵌入表缩小 87% 质量反升

arXiv 新论文 Chorus 由 DualverseAI 的 Stephen Chung 与 Wenyu Du 提出,改进语言模型的 n-gram 嵌入表设计。现有做法如 DeepSeek 的 Engram 通常每层配置独立嵌入表,成本较高;Chorus 改为全层共享嵌入表,使表格规模缩小 87%,以极低计算成本获得额外模型容量,且性能不降反升,甚至超过 DeepSeek Engram。

2026-11-19 ~ 2026-11-20 · 2 条相关