8GB RTX 4060 跑 Qwen3.8-27B:AIME 29/30,三个免微调循环降错误
Ai_Glitch_3301 · reddit · 2026-11-19
实验设置
作者花两周测试原版 Qwen3.8-27B(UD-Q4KM,16.5GB GGUF,llama.cpp)在一块 8GB RTX 4060 上能走多远,无微调、pass@1、单种子,且公开所有失误。关键参数:MTP draft 头带来 3.5→5.7 tok/s(+65%);仅 1/4 层保留 KV,8GB 内通过 60k token 回忆测试。
裸模型成绩(thinking on)
- AIME 2026:29/30(96.7%),每题约 76 分钟
- HMMT Feb 2026:28/33(84.8%);5 次失误全是 thinking 预算耗尽,48k 重跑后 2 题答对(未计入分数)
- IFEval(greedy):80.2% prompt-strict
- AIME 共耗时约 38 小时 GPU 时间,靠游戏 PC 过夜跑完
三个「写-跑-修」循环(thinking off,权重不动)
- 数学:模型写 Python 脚本执行、可修 2 次崩溃——136 题锁定集 9 错 → 0 错,单题 183s → 22s;更难的自建集 7/40 → 36/40
- 代码:模型对自己的代码跑 docstring 示例并修复——HumanEval 90 题 2 错 → 1 错;发现部分 HumanEval 示例本身有错,加一句「手算确认示例错误时可回 KEEP」解决
- IFEval:模型自写 check(response) 校验格式并重写——锁定集 77.4% → 87.0%(修复 27、破坏 1)
诚实的局限
- 数学循环对比的是 thinking-off 裸模型;thinking-on 时裸模型分数相当,循环赢在速度(约快 4.6 倍)
- 编码仅差 1 题,接近噪声;136 题中 96 题来自作者旧基准,真正全新的只有 40 题
- 沙箱只是黑名单+10s 超时,不适合跑陌生人的代码
代码、prompt 与日志:github.com/aiglitchsouls/loop27b
「Infra」频道最新
- Linux Mint 官网全线下线,疑似托管商 DNS 故障而非域名丢失 — kingslyj · 2026-11-19
- 腾讯混元 Hy4-Flash 引擎 PR 曝光:张量并行+MTP 草稿+CPU 专家通道 — TencentHunyuan · 2026-11-19
- 网友质疑黄仁勋「2027 中国算力超全球」言论:言过其实 — teortaxesTex · 2026-11-19
- TRELLIS.2 CUDA 内核上线 HF kernels:BVH 构建 7.1 秒降至 5 毫秒 — ariG23498 · 2026-11-19
- opencode 修复 GPT-6.2 缓存 bug,每步未缓存输入从 1.4 万 token 降至 3 — victor_explore · 2026-11-19
- 美国中期选举 41 项数据中心公投 40 项被否,Alphabet 以就业承诺回应 — rohanpaul_ai · 2026-11-19