LLM 自动调优 20 小时,RTX 5060 Ti 跑 Qwen3.8 提速 2.4 倍

bobaburger · reddit · 2026-11-19

一位 Reddit 用户让云端 LLM 自动做研究(autoresearch),在 RTX 5060 Ti 16GB 上用 llama.cpp 跑 Qwen3.8 Flash Next,16GB 量化版解码速度从 24 tok/s 提到 40.6 tok/s,IQ4XS 从 8.4 提到 20.1 tok/s(+139%),且输出与基线逐字节一致。

实验流程:

LLM 尝试过的有效改动:

被丢弃的方案:ngram 投机解码(每层触碰 20-32 个专家导致 VRAM 缓存被逐出反而变慢)、CPU offload miss、lookahead 预取、改 CPU 线程数、重新量化模型等。

作者的感慨:LLM 能自主深入 llama.cpp 代码找优化线索,但进展的功劳没法完全归自己,因为很多改动他已经看不懂了。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →