16GB 显卡跑 Raon-1-mini：从 50 提速到 232 tok/s 的完整调优记录

McNiiby · reddit · 2026-10-29

一位只用 RTX 5070 Ti（16GB VRAM）的 Reddit 用户详细记录了把 KRAFTON 的 Raon-1-mini-preview（29B MoE，4B 激活参数）解码速度从 50 tok/s 压榨到 232 tok/s 的全过程，且质量与原始 Q4KM 量化基本持平。

关键步骤

• 量化选择：常规 llama.cpp 上 3-bit 全进显存即从 50 提至约 135 tok/s；IK4KS 因 16.3GB 放不下而放弃，最终选 IQ3KS 全驻 GPU（作者用 KLD 对比各量化与原模型分布距离）。
• 裁剪词表：Raon 词表 26 万 token，砍掉 5.4 万中日韩 token 几乎无损（KLD 0.0931 vs 0.0923），还暴露了一个每 token 全量扫描的 sampler，修复后采样从 1.3ms 降到 0.3ms，实际聊天提速约 15%。
• 诊断 ikllama.cpp 反而更慢：GPU 只用了约 20% 显存带宽。原因是 SITU 激活不支持导致 CUDA graphs 关闭，以及 mHC 层每 token 约 1500 次微小 kernel 启动。
• 逐项 kernel 优化（均附 A/B 实测与 KLD）：SITU+mHC 融合 +31%、小矩阵乘内核 +12%、融合 delta attention +9%、MoE megakernel +7%、稠密 matvec 合并 +13%、流水线 megakernel +5%、长上下文注意力按 SM 分片 +2-3% 等。

作者开源了 IQ3KS GGUF 量化（Hugging Face）和带编译运行说明的 ikllama.cpp fork（GitHub，需 16GB 显卡），每一步优化都有数据支撑，是消费级显卡本地部署 MoE 模型的优秀工程复盘。

原文链接 →

「编程与Agent」频道最新

• 开发者把 Mac 屏幕与通话记忆接入 Grok Bot，只读问答一周行踪 — bfrench · 2026-10-29
• 开发者自述：一天 5000 次 GitHub 贡献，「在睡梦里都能看到推理痕迹」 — vincent_koc · 2026-10-29
• 开源 diagram-design skill：一句话描述架构自动出编辑级图表 — bfrench · 2026-10-29
• MCP 工具定义可吃掉 19 万 token：卸载一个大 server 上下文从 200K 降到 10K — shoumikgoswami · 2026-10-29
• 实测:抓 100 万个 URL,第三方 API 比自建爬虫省太多钱 — gaganghotra_ · 2026-10-29
• Oxlint 下个版本 JS 插件 AST 传输提速 5 倍 — cnakazawa · 2026-10-29

更多「编程与Agent」频道 AI 资讯 →