prefill 仅 15 个融合 kernel:V4.1 推理栈细节与分钟级 SWA 缓存
nrehiew_ · x · 2026-09-11
nrehiew 总结该模型推理侧的关键设计:
- 大量融合 kernel:prefill 仅执行 15 个 kernel，decode 仅 11 个
- 借 SWA 降低 KV 缓存:SWA 缓存仅保留在每条 user/assistant 消息末尾，TTL 为分钟级、存于 DRAM
- 缓存被逐出时有 replay 方案，最大回放由参数 S 约束；encoder 侧有相应回放策略
后训练哲学上，作者认同社区观察:该团队已完全转向数据驱动，而非训练算法研究。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「Infra」频道最新
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26