Chorus 论文:全层共享 n-gram 嵌入表,表格缩小 87% 质量反升
Stephen Chung · hf · 2026-11-19
DualverseAI 的 Stephen Chung 与 Wenyu Du 发表 Chorus,改进 n-gram 嵌入表的设计。现有做法通常每层一张独立的 n-gram 嵌入表,内存昂贵且层间无法共享知识;简单共享单表又剥夺了各层的偏好,实践中表现差。
Chorus 让全网络共用一套 n-gram 嵌入表,但每层用自己当前的 hidden state 对嵌入各分量做 rescale,再经各自的投影层读取——共享存储、分层适配。
结果:1.2B 表参数下文本预测优于 FactorEmbed 与 DeepSeek's Engram 用 9.6B 才达到的水平,即表格缩小约 87%;在 20M–9.6B 全区间各表格规模上都优于 Engram、TN-gram 和 FactorEngram。配合记忆高效优化器 Ember,相比 AdamW 节省 99.2% 的表优化器内存且不掉训练性能。
「Infra」频道最新
- vikhyatk:行业在 GPU 编译器投入过多,CPU 编译器不足 — mohbibi_ · 2026-11-19
- KVARK Flash 代理:按请求限 DeepSeek 思考量,token 省 30-50% — Ill_Contribution_717 · 2026-11-19
- R9700 降到 160W 跑 llama.cpp:性能仅丢两成,风扇近无声 — LippyBumblebutt · 2026-11-19
- Baseten 实测:DeepSeek v4.1 Flash 在 Vera Rubin 上跑出约 2500 tok/s — baseten · 2026-11-19
- Cloudflare 推出 Spend Management:消费达上限可自动暂停服务 — JeremyCMorgan · 2026-11-19
- 一条 EBS gp3 命令让 Weaviate 千万向量索引查询性能提升 26 倍 — philipvollet · 2026-11-19