Modal 联手 Sakana 将 Namazu API 优化到内核级,NVFP4 量化+KV 路由
blelbach · x · 2026-10-24
Modal 宣布与 Sakana AI 合作,把 Sakana Namazu API 的推理性能优化到内核级别,关键手段包括:
- 选择性 NVFP4 量化:针对拥有 2.3 万+专家的 MoE 模型做选择性低精度量化
- DFlash 草稿模型:直接在原始 token 流上训练,接受率提升 25%
- 自研前缀 KV 路由 + serverless 自动扩缩容
这是一套从量化、投机解码到调度路由的完整推理栈优化案例,对做大规模 LLM 服务的团队有参考价值。
「Infra」频道最新
- Humansand 高产一周：开源内核同时提升精度与速度 — gharik · 2026-10-24
- 众包优化让 NVIDIA Nemotron 3.5 Lightning 在 Mac 上提速 34.6% — gajesh · 2026-10-24
- 视频生成模型 int8 量化实测：12GB 显存即可流畅运行 — cocktailpeanut · 2026-10-24
- 半导体圈热议:高数值孔径 EUV 对台积电 18A/16A 节点是否划算 — pstAsiatech · 2026-10-24
- Intel 显卡 B60/B65/B70 一日暴涨 30%,B70 冲至 1840 美元 — SamSausages · 2026-10-24
- RTX 30 系 GPU Unlock 实测:3090 Ti 跑 ComfyUI 出图吞吐最高提升 59% — under-_-null · 2026-10-24