2022 年 NgramRes 愿景应验：混合注意力已成行业共识

PangWeiKoh · x · 2026-10-17

Huayang Li 回顾其 2022 年 Ngram Residual（NgramRes）工作：原始动机是把长上下文建模与短上下文建模分离——用快速切换的 n-gram 模型处理局部上下文，把更多容量留给注意力 LM 处理远距离上下文。四年后回看，这一思路与如今结合滑动窗口/线性注意力与全注意力的混合注意力架构高度吻合：显著降低计算成本同时保持性能，已成行业共识。作者还提到 DeepSeek 采用 Engram 架构做增强（原文在此截断）。

引用的 Ian Magnusson 帖子：团队在只读 CPU 内存中测试 n-gram 计数辅助语言模型，用 COUNT 方法扩展到 1B 规模，相当于多出 57% 算力的效果；此前已有人用类似技巧刷新 nanoGPT speedrun 纪录（797GB n-gram 数据）。