硬件感知 LDM 实现:状态回卷+窗口写入,大幅降低激活内存与访存开销
SonglinYang4 · x · 2026-11-09
Songlin Yang 附和 Korbi Poeppel 指出的一篇 LDM 论文的硬件感知实现(3.3 节),展示如何高效实现带层间状态读写(RLS 递归)的深度模型:
- State unwinding:RLS 递归可逆,反向传播时用每层保存的紧凑辅助信息(而非完整状态 Ml)从最终状态回卷重建,存辅助信息远比存 G×Dv×Dk 的完整状态便宜。
- Windowed writes:将 Write 操作与下一层 Read 融合,并把 E 层窗口内(主实验 E=4)的写操作推迟聚合,窗口内不物化中间状态,显著减少写流量。
- 实现用 CuTe DSL,支持 Hopper 和 Blackwell GPU。
「Infra」频道最新
- 沙特 HUMAIN 联合国家基础设施基金设立最高 25 亿里亚尔 AI 基建融资 — HUMAIN · 2026-11-09
- 两个本地模型的 chat template 静默坑掉 agent 客户端,作者给出排查清单 — viest_me · 2026-11-09
- Ryzen AI Max+ 395 跑 Qwen3.8 实测：llama.cpp 调参提速 48% — Prudence-0 · 2026-11-09
- GPU 编程 365 天打卡第 309 天：实操边缘端 LLaMA2-7B 优化 — NandoDF · 2026-11-09
- Waymo 首谈为何弃纯视觉：camera-only 易上手却难破 99.9% 之壁 — 4310sy · 2026-11-09
- 把 Mac mini 放家里当常驻节点，笔记本远程跑 AI 任务 — xiaohu · 2026-11-09