哈工大深圳等提出 STILL:内容感知层内混合注意力,原地线性化 LLM
jiqizhixin · x · 2026-10-26
Softmax 注意力的二次方开销是长上下文的瓶颈;线性注意力快但从头训练一个大线性模型动辄数万 GPU 小时。更划算的路线是把现有预训练 LLM「原地线性化」,但现有层内混合方法要么用暴力滑动窗口按位置路由 token(把远距离关键证据挡在高质量注意力之外),要么在特征映射时破坏预训练模型的归一化结构,导致长上下文能力崩溃。
- 哈尔滨工业大学(深圳)、鹏城实验室、昆士兰大学、雷丁大学提出 STILL(ArXiv 2602.02180),被 NeurIPS 2026 接收。
- 一作孟伟康,通讯作者张正教授。
- STILL 号称首个真正内容感知的层内混合注意力架构,通过选择 token 实现线性化,避免上述伪混合与归一化破坏问题。
「研究」频道最新
- 研究发现 token embedding 对 value 向量贡献远超表象 — RichmanRonald · 2026-10-26
- 开发者提出「神经光学流」:参数化传统 CV 电路加速神经网络收敛 — mike64_t · 2026-10-26
- 生物 AI 老兵反驳「无限算力可解决生物学」：瓶颈是数据不是算力 — iScienceLuvr · 2026-10-26
- 新研究：不同任务会把神经网络权重拉向权重空间中不同聚类 — wschroll · 2026-10-26
- Bambi 线性建模库悄然支持非线性模型,作者发文详解用法 — twiecki · 2026-10-26
- 复旦×腾讯推出 DraMaze：用演化树搜索破解短剧剧本套路化 — Siyang He · 2026-10-26