LLM 自动调优 20 小时,RTX 5060 Ti 跑 Qwen3.8 提速 2.4 倍
bobaburger · reddit · 2026-11-19
一位 Reddit 用户让云端 LLM 自动做研究(autoresearch),在 RTX 5060 Ti 16GB 上用 llama.cpp 跑 Qwen3.8 Flash Next,16GB 量化版解码速度从 24 tok/s 提到 40.6 tok/s,IQ4XS 从 8.4 提到 20.1 tok/s(+139%),且输出与基线逐字节一致。
实验流程:
- 用 12 个覆盖编码/数学/问答的测试 prompt,只测解码速度
- 不用 KLD/PPL,而是与基线模型做逐字节输出对比保证质量
- 每轮记录速度、缓存命中率、磁盘读取量,优于上轮才保留
LLM 尝试过的有效改动:
- 调整 -np、KV cache 量化、batch/ubatch 尺寸
- 调整 VRAM 中的 expert cache 大小(16 GiB pinned host pool + 批量预取 17.0 tok/s → 19 GiB pool 18.1 → ODIRECT 16 线程按需读 20.1)
- 直接修改 llama.cpp 源码(作者承认看不懂细节,代码已开源)
被丢弃的方案:ngram 投机解码(每层触碰 20-32 个专家导致 VRAM 缓存被逐出反而变慢)、CPU offload miss、lookahead 预取、改 CPU 线程数、重新量化模型等。
作者的感慨:LLM 能自主深入 llama.cpp 代码找优化线索,但进展的功劳没法完全归自己,因为很多改动他已经看不懂了。
「编程与Agent」频道最新
- OpenAI 内部数据:Agent 独立完成 2-4 小时任务成功率半年翻倍至 46% — ChrisGPT · 2026-11-19
- 开发者现身说法:vibe coding 做含安全要求的项目是重大风险 — kylegawley · 2026-11-19
- Vercel 推出 Board:给 agent 用的安全共享留言板,已合并过半 PR — cramforce · 2026-11-19
- 从手工参数化到一句话跑完:分子模拟二十年巨变 — IgorCarron · 2026-11-19
- Mercury Books 接入 MCP,记账可直接在 Claude/ChatGPT 里完成 — dunkhippo33 · 2026-11-19
- a16z 发布消费级 Agent 基础设施市场地图,五大方向成新赛道 — FinanceYF5 · 2026-11-19