DeepSeek-V4.1-Flash 压缩到 3-bit,三张 RTX PRO 6000 可跑,KLD 仅 0.066
TheZachMueller · x · 2026-10-19
BrandonMusicKy 发布了 DeepSeek-V4.1-Flash-1017 的 3-bit TrellisMX 量化版本,专为三张 RTX PRO 6000 布局,Engram 表格以 fp8 ngram 存储。
- 与官方权重对比的平均 token 级 KL 散度为 0.0664 nats(2,048 token 序列),top-1 一致率约 91.7%
- 8,192 token 长窗口下 KLD 升至约 0.130
- 量化构建与全部 KL 测量在 Lambda 捐赠的 8x B200 节点上完成
- 内存充足时还能同时跑两个 spark 实例
模型已在 Hugging Face 上架(brandonmusic/DeepSeek-V4.1-Flash-1017-TrellisMX-K3)。
「Infra」频道最新
- CMU 研讨会详解 Floe 引擎：弃缓冲池、自研内核跑赢 io_uring — sh_reya · 2026-10-19
- 数据中心仅占全球一次能源 0.85%，用数据反驳能耗恐慌论 — DarinFeinstein · 2026-10-19
- vLLM 0.32 新增结构化决策 API：读首 token 概率出答案 — AccBalanced · 2026-10-19
- GPU 定价真相：决定成本的是资本利差而非现货租金 — AccBalanced · 2026-10-19
- Liquid Inference 周末上线多项集成：DeepSeek 新模型与 ComfyUI 插件 — AccBalanced · 2026-10-19
- 机构上修 2027 全球数据中心新增至 +50GW，称卫星图为证 — AccBalanced · 2026-10-19