5 美元 10 分钟微调 Qwen3.6-35B,GPQA +8%、MMLU-Pro +12%

josh_wills · x · 2026-09-21

开发者 ekzhang1 分享了一次极低成本的开源模型微调实践:晚上用 Tinker 对 Qwen3.6-35B-A3B 做了一轮 SFT,让模型更好回应「Jev 式」prompt,成本仅 5 美元、训练约 10 分钟,GPQA diamond 提升 8%,MMLU-Pro 提升 12%,并与 Jared Palmer 的 Kev 做了对比评测。

配套开源了 openjev-sglang 仓库:基于 SGLang 实现 TypeSafe/Jev 兼容的 HTTP API 端点,每容器一张 B200,利用 SGLang 0.5.19 的 Rust 前端、radix 缓存与可中断 prefill CUDA graphs,外部用 FastAPI + uvloop 做异步 API 层,可在 Modal 上一键部署公开端点。