15岁开发者自研注意力内核：32k上下文不OOM且快11倍

一位 15 岁开发者发布自定义注意力内核，思路模仿人类记忆机制：保留开头少量 token 作为「记忆锚点」（attention sinks），其余 token 采用带熵衰减的滚动窗口处理。在 Tesla T4 上实测显示，处理 32k token 上下文时完全不发生 OOM，且比标准注意力快 11 倍，为长上下文推理提供了轻量高效的方案。

2026-11-04 ~ 2026-11-04 · 2 条相关

• 15 岁开发者自研注意力内核：32k 上下文零 OOM，快 11 倍 — vankownlaw · 2026-11-04

另有 1 条近重复转述:vankownlaw