几何自注意力新方法：2K 上下文状态小 14000 倍且 CE 更优

iskander · x · 2026-10-15

Rohan Arun 团队提出一种几何化的自注意力新思路，目标是让前沿模型跑在笔记本上：

Function-weights：把权重表示为 GPU 内存中的函数而非实体矩阵，使模型能在推理时从一条曲线上动态采样层数（手机 8 层、服务器 24 层），基矩阵可按信息量最大的曲率位置采样。
层级化状态替代 KV cache：相比 NanoGPT 的 KV cache，状态小 14,000 倍（每序列恒定 5,504 字节），2K 上下文下 CE 好 50%（匹配参数 10M token 对比中低 11.64%），经官方 NanoGPT 校验。
无 token 优化：利用预训练步骤间的前向扰动进一步优化模型，无需额外数据。
专家捆绑缓存：按用例将 experts「打包」缓存，压缩 GPU 上需常驻的内容。

作者称目标是加速所有人（包括自动化研究者），让前沿模型在本地可跑；同一团队还在 GitHub 上协作推进 Lean 整数乘法界限证明，称几天的进展相当于过去数年。

「Infra」频道最新