哈工大深圳团队 STILL 入选 NeurIPS 2026:0.04B token 把预训练 LLM 线性化

机器之心 · wechat · 2026-10-17

哈尔滨工业大学(深圳)等单位的 STILL 论文被 NeurIPS 2026 接收,一作孟维康,通讯作者张正。核心是首个真正内容感知的同层混合注意力框架:token 凭自显著性分数(Self-Saliency Score)决定进 Softmax 还是线性注意力分支,而非按位置划窗;分数有局部-全局排名一致性的理论保证,实证重合率 62.9%–84.8%;NP-Map 保范数特征映射解耦方向与模长,对齐预训练表征强度。

仅用 0.04B token 训练:16K 上下文显存削减 80%、预填充加速 83%(耗时仅 Softmax 的 17%);4K 大海捞针 86.2 分(LoLCATs 8.8、Liger 0.0);RULER 47.9 vs 基线 7.2/2.1;Llama3.1 8B 下不含 MMLU 平均分 74.7,反超原版全注意力(73.2)。代码已开源。