Baseten 解剖 Flash 模型提速:三项优化让 DeepSeek V4.1 Flash 1017 更快更省
baseten · x · 2026-11-05
- Flash 模型(中尺寸、快且便宜)正主导低成本推理的 Pareto 前沿:DeepSeek V4.1 Flash 1017 以约 1/3 的成本、4 倍的速度达到 GLM-5.3 级别智能。
- Baseten 发文拆解让 Flash 模型更快的三项推理优化:
- kernel fusion(核融合):减少 kernel 启动开销,团队迭代了 80+ 个 kernel;
- PDL(Programmatic Dependent Launch,程序化依赖启动):让下一个 kernel 在前一个尚未结束时提前启动,掩盖延迟;
- host loop minimization(最小化宿主循环):削减 CPU 侧调度开销。
- 其中开源的 mHC megakernel 经优化后速度提升 30%。
「Infra」频道最新
- LFM3-Omni-2B 跑进 iPhone:纯本地全双工多模态达 80 tok/s — victormustar · 2026-11-05
- 独立开发者开源浏览器本地模型屏监 Agent,一年磨一剑 — Roy3838 · 2026-11-05
- LFM3-Omni-2B 离线跑进 iPhone:自定义 WebGPU 内核做到约 80 tok/s — xenovatech · 2026-11-05
- Mistral Large 4 1T 上架 HF 推理端点,4×A100 每小时仅 $10 — ngxson · 2026-11-05
- vLLM 首日支持 Kimi K3.1:长程编码跑分 61.2%,训练推理栈打通 — vllm_project · 2026-11-05
- NVIDIA 发布 CUDA-X 加速 Abaqus 结构仿真 — NVIDIAAI · 2026-11-05