DeepSeek-V4.1-Flash 2-bit 量化版发布，双 RTX PRO 6000 即可跑
TheZachMueller · x · 2026-10-19
BrandonMusicKy 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-1017 的 2-bit TrellisMX 量化版本，专为两张 RTX PRO 6000 显卡布局，Engram 查表放至 128GB 系统 RAM 中以 4-bit 存储，大幅降低显存门槛。
作者使用 Lambda 捐赠的 8x B200 节点完成了量化构建与保真度评测：以官方 checkpoint 为参照，在全词表 fp64 估计下，2,048-token 序列的平均逐 token KL 散度为 0.144 nats，top-1 一致率约 86.8%；8,192-token 长窗口下 KL 散度升至 0.218 nats。评测数据与详细指标均已随模型仓库公开。
「Infra」频道最新
- MCIO 转接卡现离奇故障：GPU 因重力"掉出"PCIe 总线 — TheZachMueller · 2026-10-19
- 4 张 RTX Pro 6000 本地跑 763B DeepSeek-V4.1-Flash，输出超 500 tok/s — TheZachMueller · 2026-10-19
- 16GB 显存跑 20 秒 1080p 视频：selflift-Fish 改进版发布 — Hot_Store_5699 · 2026-10-19
- RAM 价格一年暴涨 500%，博主建议趁早入手本地 AI 硬件 — julianharris · 2026-10-19
- 长文本输出延迟最高降 65 倍,4 万词处理从 62.7 秒缩到 961 毫秒 — DanielLockyer · 2026-10-19
- AI 算力并非全面售罄：紧缺的是数千卡级大订单 — DavidLinthicum · 2026-10-19