SketchSSM 解读:低秩基近似读状态,窗口内免全量读
sehoonkim418 · x · 2026-10-08
作者解释 SketchSSM 的核心机制:窗口内状态不变、只有 query 变化,于是把 query 压缩到一个小的低秩基上,每窗口只需为这个基计算一次状态输出;后续每个 query 是基的组合,其输出也就是存储输出的同组合,无需读取完整状态。
所属事件:SketchSSM:只近似读取状态,线性注意力解码提速(6 条相关)→
「Infra」频道最新
- 爆料:仅一款三星 HBM 满足英伟达 Vera Rubin 性能要求 — zephyr_z9 · 2026-10-08
- Box CEO 论 agent 算力:单个应用服务 1 亿用户需 28 亿美元基建 — inductionheads · 2026-10-08
- 估值近 440 亿美元的数据中心公司 Firmus 澳交所 IPO 告急 — nordicinst · 2026-10-08
- DWDM 波长锁定精度收紧至 ±3.5GHz,OFC 后光互连规格再进化 — jwt0625 · 2026-10-08
- llama.cpp 新 PR 覆盖全部 26 种权重格式,Mac GPU 矩阵乘最高快 4.4 倍 — ggerganov · 2026-10-08
- Theo 算账:所谓 1.32 亿美元年 API 成本被夸大 44 倍,一年后或仅千美元 — dotey · 2026-10-08