64GB 内存+RTX 3060 跑满血 DeepSeek-V4.1-Flash：7.4 tok/s、98.3% 一致率
Muted_Context_1999 · reddit · 2026-10-24
作者在五年前的游戏 PC（Ryzen 9 3950X、64GB DDR4、RTX 3060 12GB、双 NVMe）上跑通了 510GB 的满血 DeepSeek-V4.1-Flash-1017 原始权重——不是量化小模型，自研 PROMETHEVS 引擎已发布 0.2 版（Apache-2.0）。
核心方法：compress-then-correct
- 每个 token 先用专家层的 2-bit 副本（仅 0.61 倍 FP4 字节）计算；
- 当模型自身 top-2 置信边际显示不确定时，用「2-bit 副本 + 存储的校正平面」精确重建的原始 FP4 权重重算该 token；
- 利用 DeepSeek 的 draft head 每次提议 5 个 token，共享专家读取。
实测数据（日志公开在仓库）：代码提示 160 token 冷启动 5.8、热态最高 7.4 tok/s，同机全模型精确解码仅 2.14；今日服务器实跑代码 5–8、推理与 agent 提示 4.5–5.4 tok/s；960 token 审计中与满血权重一致率 2-bit 单独 97.4%、加校正 98.3%，1101 token agent 长提示为 95.9%；长提示仅首次读取慢，后续消息约 2 秒启动。
限制与开源：引擎在本地下载原始权重并校验哈希后构建各存储层，提供 OpenAI 兼容端点（流式+工具调用）；目前仅支持 Windows + 一张 RTX 30/40 卡，需约 1.1TB NVMe，尚未与 DeepSeek 官方实现对比。作者招募测试者，仓库提供统一基准报告表单。
「Infra」频道最新
- 多伦多 PS5 Pro 全面断货，内存涨价潮波及消费硬件 — Rasmic · 2026-10-24
- Zagitta 解锁补丁实测:中国版 3080 20GB prefill 快 20%,decode 持平 — No-Refrigerator-1672 · 2026-10-24
- CUDA 用 AI 优化一年提速 5 倍再翻倍，RSI 快慢证据互相打架 — soumitrashukla9 · 2026-10-24
- 开源 RL 框架 Miles v0.1.3:首次权重同步 99.5 秒降至 3.9 秒 — hsu_byron · 2026-10-24
- Ziang Li 展示训练实绩:Tensor Core 利用率超 98% — gharik · 2026-10-24
- 砸数百万做 AI 应用分文未赚,旧 GPU 服务器却升值回本 — stephen280up · 2026-10-24