DeepSeek-V4.1-Flash 量化新玩法：2/3/4-bit 混合精度跑双 RTX PRO 6000
TheZachMueller · x · 2026-10-20
发布者将 DeepSeek-V4.1-Flash-1017 以 TrellisMX K2 Mix 方案量化，部署在两张 RTX PRO 6000 上：大部分专家用 2-bit，最关键的 629 个专家经 ShapleyMCG 分配提升到 3-4 bit，并保留约 300 万 token 的 KV 缓存，Engram 表用 4-bit TrellisMX。
实测平均 KL 散度为 0.1306 nats，比朴素 K2 方案低 8.6%，Top-1 一致率约 87.6%；另有一个多占 5 GB、支持约 200 万 KV 的版本。目前只测了 KL 散度，推理 serving 还是测试镜像。整套构建与测量在 Lambda 捐赠的 8x B200 节点上完成，模型已上架 Hugging Face。
「Infra」频道最新
- Google Cloud 伦敦区多服务故障，Revolut 与 Lloyds 等受波及 — neal_lathia · 2026-10-20
- 英伟达 5000 亿美元 AI 基建协议被曝无出处,私募债谈判进展缓慢 — mjdramstead · 2026-10-20
- 本地计算回潮：订阅费堆积与强制 AI 功能催生去云化转向 — DavidLinthicum · 2026-10-20
- DeepSeek 再开源 deepseek-recipe，复刻官方 API 的 token 编解码逻辑 — deepseek_ai · 2026-10-20
- DeepSeek 开源自研推理框架 DeepInfer，支撑 V4.1-Flash 生产级部署 — deepseek_ai · 2026-10-20
- Scott Hanselman 用 Surface Laptop 跑本地推理，给全屋设备共用 — lee_stott · 2026-10-20