ReplaySSM 进驻 GLM-5.3-Flash 与 Kimi-K3,解码最高提速 2.1 倍
tri_dao · x · 2026-10-13
- Tri Dao 与 NVIDIA 合作发布 ReplaySSM 的生产化成果:该已被 GLM-5.3-Flash 和 Kimi-K3 用于生产,并集成进 TensorRT-LLM、vLLM、FlashInfer 与 SGLang。
- 核心思路是不缓存 SSM 状态、改为缓存 SSM 输入,从而把解码时的输出计算与状态更新分离,带来三项收益:标准解码最高提速 1.47 倍、投机解码最高提速 2.1 倍,以及一种舍入误差不会随递归传播的低精度 SSM 状态表示。
- Tri Dao 点评:SSM 一直缺 Transformers 免费享有的推理优化(spec decode、量化),问题其实出在「没缓存对东西」。FlashAttention、Mamba scan、paged KV 背后是同一个 IO-aware 思路——很多大收益并非来自新架构,而是认真对待内存 IO。
「Infra」频道最新
- AMD 推出 Helion:面向 Agentic AI 的机架级 x86 CPU 算力方案 — BenBajarin · 2026-10-13
- 微软自研芯片 Maia 2027 起达多吉瓦规模并优先用于自家推理 — shashib · 2026-10-13
- transformers serve 新增 /v1/systemone 端点,让 LLM 免生成直接输出决策 — huggingface · 2026-10-13
- 本地AI项目 Actual 打造家庭级数据中心吞吐引擎 — markjeffrey · 2026-10-13
- 加拿大 BC 省开启五年基建热潮，千亿加元项目需 4.8 万工人 — 2C_ornot2C · 2026-10-13
- 谷歌 TPU 用满 7-8 年仍满载，挑战 AI 芯片三年贬值逻辑 — demian_ai · 2026-10-13