15 岁开发者自研注意力内核：32k 上下文零 OOM，快 11 倍
vankownlaw · reddit · 2026-11-04
一位 15 岁开发者发布了一个模仿人类记忆机制的自定义注意力内核：保留开头少量 token 作为「记忆锚点」（attention sinks），其余用带熵衰减的滚动窗口处理，因此完全不存储 NxN 矩阵。
在 Tesla T4 上的基准测试：
- 10,000 tokens：标准 nn.MultiheadAttention 0.0893 秒，其内核 0.0148 秒，提速 6.03 倍
- 32,000 tokens：标准实现 CUDA OOM 崩溃，其内核仍以 0.0148 秒流畅运行（相对提速 11.43 倍）
作者指出 FlashAttention 虽优化了缓存但仍按平方级扩展内存，其方案则物理上不存完整 NxN 矩阵。已提供可拖动滑块从 1k 到 50k tokens 实测的交互式网页 demo，并开放付费咨询（50-100 USDT）帮助集成到视频处理、长上下文 LLM 等管线中，征集真实反馈。
所属事件:15岁开发者自研注意力内核：32k上下文不OOM且快11倍(2 条相关)→
「Infra」频道最新
- 实测各 GPU 生图电费：RTX 5090 每千张仅 3.4 美分，最贵差 45 倍 — strata2signal · 2026-11-04
- SemiAnalysis：SpaceX 将成全球最大 AI 云，1.5 年内落地 13GW — dylan522p · 2026-11-04
- ORNL 论文测算：实用量子计算机需 400 万量子比特、占地 800㎡ — anirbanbandyo · 2026-11-04
- Snowflake 开源 Arctic Platform:LLM 后训练框架支持训练与推理分离 — StasBekman · 2026-11-04
- 开源推理引擎 Basalt 0.2.0：单张 5090 上跑出 300 t/s 且质量超 llama.cpp Q8 — jesdga95 · 2026-11-04
- Periodic Labs 将在 SGLang 峰会分享物理实验 RL 基础设施 — BanghuaZ · 2026-11-04