自研注意力内核：32k token 不 OOM,比标准注意力快 11 倍
vankownlaw · reddit · 2026-11-04
作者为长上下文处理自研了一个注意力内核，思路模仿人类记忆：保留开头若干 token 作为「sink」(核心记忆)，其余用带熵衰减的滚动窗口处理。在 Tesla T4 上实测：
- 10,000 token:标准 nn.MultiheadAttention 0.0893 秒，自研内核 0.0148 秒，加速 6.03 倍
- 32,000 token:标准实现因无法分配 N×N 矩阵直接 CUDA OOM,自研内核仍以 0.0148 秒流畅运行(名义加速 11.43 倍)
作者指出 FlashAttention 虽快但内存仍随序列二次增长，而自己的方案物理上不存储完整 N×N 注意力矩阵，并征集社区对改进方向的建议。
所属事件:15岁开发者自研注意力内核：32k上下文不OOM且快11倍(2 条相关)→
「研究」频道最新
- 直接改权重胜过微调：π0.5 叠衣任务成功率达 75% — ZeeshanZiaML · 2026-11-04
- 新「4A」框架拆解 AI 治理：行动、访问、权威、分配四问分开谈 — Brighter-Side-News · 2026-11-04
- 斯坦福 RoboArchitect：代码模型自动改写机器人控制代码，成本不到 150 美元 — rohanpaul_ai · 2026-11-04
- UIST 2026 论文 LitPivot：帮你把被抢发的研究点子改得更酷 — IanArawjo · 2026-11-04
- Idol Turbo 蒸馏版上线：单图生成百万级 3D 高斯，5 步仅需 0.75 秒 — _akhaliq · 2026-11-04
- 从 OpenAI 造船翻车到哮喘误判:老 reward hacking 案例的评测自查清单 — ClickOk5811 · 2026-11-04