8GB RTX 4060 跑 Qwen3.8-27B:AIME 29/30,三个免微调循环降错误

Ai_Glitch_3301 · reddit · 2026-11-19

实验设置

作者花两周测试原版 Qwen3.8-27B(UD-Q4KM,16.5GB GGUF,llama.cpp)在一块 8GB RTX 4060 上能走多远,无微调、pass@1、单种子,且公开所有失误。关键参数:MTP draft 头带来 3.5→5.7 tok/s(+65%);仅 1/4 层保留 KV,8GB 内通过 60k token 回忆测试。

裸模型成绩(thinking on)

三个「写-跑-修」循环(thinking off,权重不动)

诚实的局限

代码、prompt 与日志:github.com/aiglitchsouls/loop27b

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →