Kimi K3 用有界衰减把 chunkwise KDA 保持在 BF16 范围内
stochasticchasm · x · 2026-07-28
配图展示的是 Kimi Linear 和 Kimi K3 在方法层面的差异。
核心结论：
- Kimi K3 不再使用无界的 negative-softplus log-decay，而是改成了下界受限的 sigmoid 参数化
- 这里固定了 gmin = -5，让倒数重标定因子保持在 BF16 可接受范围内
- 因为衰减值处于有限区间，对角块和非对角块都可以直接用 Tensor Core 的密集矩阵乘法
- 这样就去掉了额外的 position-pair diagonal 路径，提高了 chunkwise KDA 计算效率
一句话概括：Kimi K3 用“有界衰减”换来了更好的数值稳定性和计算效率。
所属事件:月之暗面发布 Kimi K3 技术报告，宣称训练效率提升 2.5 倍(7 条相关)→
「Infra」频道最新
- vLLM 携手 DigitalOcean 上线 Kimi K3 模型 — vllm_project · 2026-07-28
- AMD 称 MI455X 推理吞吐量将达 MI355X 的 34 倍 — Beth_Kindig · 2026-07-28
- Google Cloud 为 Gemini API 和 Vertex AI 加入近实时异常告警 — rseroter · 2026-07-28
- Block Attention Residuals 将注意力开销降到 O(Nd) — stochasticchasm · 2026-07-28
- LlamaIndex 推出 Cloudflare Worker 脚手架部署 LlamaParse — llama_index · 2026-07-28
- OpenRouter 展示同一模型的多 provider 定价与路由 — gnukeith · 2026-07-28