FreeToken 分支支持 DeepSeek-V4.1 与投机解码,2x3090 实测数据公开
ApeGrower · reddit · 2026-09-22
作者分享了自己长期维护的 FreeToken 分支(Apache-2.0,匿名发布)。FreeToken 是边缘原生 MoE 推理引擎,把专家权重 offload 到主机内存/NVMe 并在 CPU+GPU 上协同执行,让消费级硬件能跑大 MoE 模型。
在 upstream 基础上的主要改动:
- 支持 DeepSeek-V4.1-Flash(mHC、CSA2 稀疏注意力、lightning indexer、Engram n-gram 记忆、DSpark draft)
- 为 Qwen3.8-Flash-Next 加入视觉能力,端到端支持 OpenAI imageurl 输入
- 投机解码:MTP draft head、拒绝采样、提交已接受前缀而非重新扩展、可选轮次链式
- FTW 快权重格式携带 side table(PLE/Engram)与 MTP head,支持 TP 切分
- 多模型张量并行加载、可选 fp8 all-reduce、重构量化配置层
硬件为 2x RTX 3090(张量并行=2)+ AMD EPYC 7203P。256 token 输出基准:greedy 无 MTP 为 48.0 tok/s;开 MTP 后 21.5(接受率约 56%),在当前配置下配合 CUDA graphs 反而是净损失——但在 eager 无重叠的对等条件下 MTP 达到约 1.5 倍(17.2 vs 11.4),作者正在优化 per-batch-size verify graph,暂不宣称已胜出。另提醒 DeepSeek-V4.1 的 Engram 表默认落盘,需预留磁盘空间。
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12