antirez 详解 DwarfStart 三级 prefill 策略:按长度切换 token 路径与分层加载
antirez · x · 2026-09-11
antirez 继续拆解在 M5 Max 上跑 DeepSeek v4.1 Flash 的 DwarfStart 机制,按 prefill 规模分三级:小 prefill 走单 token 路径并利用 experts 缓存,类似解码;较大 prefill 采用 layer-major 方式,Layer N+1 的加载被 Layer N 的处理隐藏;超大规模 prefill 则切换到完整驻留 encoder。他认为这一组合在该场景下接近最优。
所属事件:antirez 在 Mac 上本地跑 DeepSeek v4.1 Flash：SSD 流式与双机 RDMA 实测(10 条相关)→
「Infra」频道最新
- 176KB C 程序在单 CPU + 8GB 内存上跑 2.78 万亿参数模型 — techNmak · 2026-09-11
- Blackstone 重仓 AI 算力，联手 Google、Nvidia、Anthropic 下注 — abhiadesai · 2026-09-11
- 前沿模型已学会投机解码与核优化，InferenceBench 上自出招 — maksym_andr · 2026-09-11
- 预算友好多 GPU 本地 LLM 搭建实录：写给新人的入门指南 — lblblllb · 2026-09-11
- 腾讯参投的燧原科技上海上市首日暴涨 179%,募资 9.1 亿美元 — pstAsiatech · 2026-09-11
- Qwen3.8 Flash Next 本地跑出 49 tokens/s,双 3090 配置全公开 — whiteh4cker · 2026-09-11