ReplaySSM 进驻 GLM-5.3-Flash 与 Kimi-K3,解码最高提速 2.1 倍
SonglinYang4 · x · 2026-10-13
Albert Gu 转发并评论:transformer 推理已被整个生态打磨出几十种优化技巧,而替代架构仍大有优化空间。
核心是被引用的 ReplaySSM 进展:
- ReplaySSM 已在 GLM-5.3-Flash 和 Kimi-K3 生产环境运行,并进入 TensorRT-LLM、vLLM、FlashInfer、SGLang;
- 标准解码最高提速 1.47 倍,投机解码最高 2.1 倍;
- 方法要点:解码时缓存 SSM 输入而非状态,使输出计算与状态更新得以分离,三项收益都源于此分离;
- 还支持低精度 SSM 状态,舍入误差不会在递归中传播;
- 与 NVIDIA 及 Tri Dao 合作发布博客、论文与代码。
所属事件:ReplaySSM 进入 GLM-5.3-Flash 与 Kimi-K3 生产，解码提速 2.1 倍(2 条相关)→
「Infra」频道最新
- 用 RAID10 双阵列本地跑 GLM 模型：冷加载约 1 分钟 — TheZachMueller · 2026-10-13
- 富士康曝光自动化战略：Omniverse 虚拟验证 + GR00T 人形机器人已投产 — firstadopter · 2026-10-13
- LiquidAI 发布 d1 系列 MLX 版本，原生适配 Apple Silicon 本地运行 — JosephJacks_ · 2026-10-13
- Apple 私有云计算新固件现 vserver 镜像，macOS 虚拟化服务器或将至 — jedisct1 · 2026-10-13
- HF 工程师提醒：多沙盒场景别乱来，本地 CPU 即可跑 — TheZachMueller · 2026-10-13
- Celesto CI 算账:1000 个任务比 GitHub Actions 便宜 9 倍 — aniketmaurya · 2026-10-13