ReplaySSM 缓存输入代替状态写入，已进入 GLM-5.3-Flash 与 Kimi-K3 生产环境
SonglinYang4 · x · 2026-10-14
ReplaySSM 团队（与 NVIDIA、Tri Dao 合作）发布论文、代码与博客：该方法缓存 SSM 输入而非状态本身，把输出计算与状态更新在解码时解耦，已在 GLM-5.3-Flash 和 Kimi-K3 生产环境运行，并进入 TensorRT-LLM、vLLM、FlashInfer、SGLang。
三项收益
- 标准解码最高提速 1.47×：SSM 层的状态 I/O 在长上下文下占解码延迟近 40%，ReplaySSM 将状态内存流量约减半
- 投机解码最高提速 2.1×：原本昂贵的状态回滚变成缓冲区指针移动
- 低精度 SSM 状态：低精度 checkpoint 提供输出、高精度 checkpoint 承载递推，舍入误差不再进入递推链
核心洞察是「不总是需要更复杂的算法，延迟内存写入即可」——把优雅的 SSM 理论与 GPU 内存带宽这一物理瓶颈之间架起桥梁。
所属事件:ReplaySSM 进入 GLM-5.3-Flash 与 Kimi-K3 生产环境，解码最高提速 2.1 倍(5 条相关)→
「Infra」频道最新
- 轨道数据中心没有物理断电开关,Reddit 热议 AI 安全悖论 — Zappy_Oh · 2026-10-14
- 小红书 Dots 提出 MSAR:等损失下训练算力提速 1.58 倍 — teortaxesTex · 2026-10-14
- VirusTotal 发布 macOS Mirage，针对 Apple Silicon 恶意软件动态分析 — jedisct1 · 2026-10-14
- ClickHouse 合并 IPCrypt 支持，可合规共享加密 IP 日志 — jedisct1 · 2026-10-14
- 4-bit 量化保留 98-99% 质量,DeepSeek V4 Flash 并不适合本地部署 — gnukeith · 2026-10-14
- Fly.io Sprites 推出 Connector，可直接调用 Ollama Cloud — ollama · 2026-10-14