748B DeepSeek-V4.1-Flash 在 2000 欧元旧 PC 上跑出 7.2 tok/s
Vladowski · reddit · 2026-10-22
一位网友用不到 2000 欧元买的二手 PC（RTX 3090 24GB + 128GB DDR4 + i9-9900X）成功跑起 748B 的 DeepSeek-V4.1-Flash-1017：1-bit 量化（Unsloth UD-IQ1S，磁盘 233GB），速度 7.2 tok/s。
关键技巧：110GB 的 Engram 表不预先加载，而是留在 NVMe 上按需读取所需行，模型才装得下。使用 llama.cpp 开放中的 PR #30817 构建，CUDA 12.8。
作者承认回答里有物理错误、实用价值有限，Qwen 模型在他的配置上表现更好，但 748B 模型能跑起来本身就是件有趣的事。
「Infra」频道最新
- Megakernel 框架宣称单内核跑万亿参数预训练 — basedjensen · 2026-10-22
- PyTorchCon 深入优化器内核：QR、特征分解与 Cholesky 如何提速训练 — PyTorch · 2026-10-22
- CoreWeave 被指陷反身性信用循环:债价越跌融资越贵风险越高 — vasuman · 2026-10-22
- Bulatov 列本地模型看空理由：数据中心智能性价比更高 — yaroslavvb · 2026-10-22
- vLLM 发布 TorchTPU：PyTorch 原生工具链登陆 TPU 推理 — PyTorch · 2026-10-22
- Wiz 实锤 LiteLLM 供应链事件：失窃凭据已被用于 LLMJacking 滥用 — wunderwuzzi23 · 2026-10-22