98GB模型在4060 Ti上提速3倍
Chuyito · reddit · 2026-07-16
在一台 **RTX 4060 Ti 16GB + 6 核 CPU** 的低成本机器上，作者用 `llama.cpp` 跑一个 **98GB** 的 DeepSeek-V4-Flash 量化模型，最近一周吞吐从 **2 tok/s 提升到 7 tok/s**。 帖子给出了硬件信息、实测日志和配置片段，强调这类“CPU 生成”已经接近可用：虽然模型显存需求远超本机 GPU 容量，但通过 CPU 参与生成和不断优化的运行时，速度明显改善。作者认为 `llama.cpp` 在近期提交里持续优化，值得关注本地大模型推理的进展。