SketchSSM 思路：只近似读状态，压缩误差不写入状态
sehoonkim418 · x · 2026-10-08
作者阐述设计原则：保持状态精确，只近似对状态的读取。每窗口一次性更新完整状态并在同一 kernel 内刷新紧凑 sketch；窗口内每步只读 sketch，压缩误差从不写回状态。相比剪枝/量化直接压缩状态会让误差逐步累积的做法，即使 2–4 倍的读流量降低也会明显损害长推理任务准确率。
所属事件:SketchSSM 发布：近似读状态，线性注意力解码提速 2.8 倍(8 条相关)→
「Infra」频道最新
- 拆解 Chrome DecisionModel API:完整提示词与引擎实测 — dejanseo · 2026-10-08
- 中国电力过剩催生数据中心，浸没冷却技术源自矿机 — teortaxesTex · 2026-10-08
- omarchy-cluster 把 753B 参数 GLM-5.3 拆进四台旧 Mac 跑全量模型 — natesiggard · 2026-10-08
- 爆料：仅一款三星 HBM 满足英伟达 Vera Rubin 性能要求 — zephyr_z9 · 2026-10-08
- Box CEO 论 agent 算力:单个应用服务 1 亿用户需 28 亿美元基建 — inductionheads · 2026-10-08
- 估值近 440 亿美元的数据中心公司 Firmus 澳交所 IPO 告急 — nordicinst · 2026-10-08