5 美元 10 分钟微调 Qwen3.6-35B,GPQA +8%、MMLU-Pro +12%
josh_wills · x · 2026-09-21
开发者 ekzhang1 分享了一次极低成本的开源模型微调实践:晚上用 Tinker 对 Qwen3.6-35B-A3B 做了一轮 SFT,让模型更好回应「Jev 式」prompt,成本仅 5 美元、训练约 10 分钟,GPQA diamond 提升 8%,MMLU-Pro 提升 12%,并与 Jared Palmer 的 Kev 做了对比评测。
配套开源了 openjev-sglang 仓库:基于 SGLang 实现 TypeSafe/Jev 兼容的 HTTP API 端点,每容器一张 B200,利用 SGLang 0.5.19 的 Rust 前端、radix 缓存与可中断 prefill CUDA graphs,外部用 FastAPI + uvloop 做异步 API 层,可在 Modal 上一键部署公开端点。
「Infra」频道最新
- 用 logprobs 把任意本地 LLM 变成分类器,附带完整命令 — DivideHorror3217 · 2026-09-21
- 自建 4×V100 本地 LLM 服务器,企业级工作流跑通 — TrailFeatures · 2026-09-21
- 新 agent 运行时宣称：支持数十亿 agent 集群，沙箱密度提升 10-20 倍 — astralmatrix · 2026-09-21
- SGLang 团队协助用户排查 hicache 崩溃问题 — TheZachMueller · 2026-09-21
- M5 Max 还是升级台式机?本地跑大模型的带宽与显存账 — vitamins1000 · 2026-09-21
- 两年前 sam 说智能将廉价到忽略不计，如今 10/50 美元成新常态 — teortaxesTex · 2026-09-21