15 岁开发者手写滑动窗口注意力,T4 上提速 4.2 倍省 21% 显存
vankownlaw · reddit · 2026-10-31
一位 15 岁开发者从零实现了自定义 Sliding Window Attention,解决本地 LLM 与视频处理中长上下文的显存瓶颈。核心思路:在计算 QxK 矩阵前通过分块截断旧 token,避免生成巨大 NxN 矩阵导致消费级 GPU OOM。
在 Tesla T4、15,000 token、FP16 条件下对比:
- PyTorch 标准 nn.MultiheadAttention:约 867ms / 1.12GB 显存
- 自定义实现:约 208ms / 0.89GB 显存
- 结果:提速 4.16 倍,显存降低 21%
作者表示知道 FlashAttention 存在,但目的是理解底层机制;代码暂未公开,希望先打磨稳健性,并征询该方案在视频处理中的可行性及扩展到 10 万+ token 时的潜在瓶颈。
「Infra」频道最新
- 5个便宜开源模型投票替代 Opus:准确率89.6%成本仅1/10 — PomegranateAble4339 · 2026-10-31
- 网友在 RTX 3090 Ti 上实跑 MiniMax 3 视频生成,效果惊艳 — Impossible-Ad-3798 · 2026-10-31
- 曝微软向6万员工提供离职补偿，将人力支出转向数据中心 — Polymarket · 2026-10-31
- Baseten 拟融资 20 亿美元，估值翻倍至 300 亿 — rohanpaul_ai · 2026-10-31
- RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
- php2shell 漏洞一周后约 25 台 Palo Alto 防火墙遭 root 级攻陷 — cyb3rops · 2026-10-31