1.5B 小模型 31ms 出决策,胜过 4B 对手拿下同尺寸第一
Cod3Conjurer · reddit · 2026-11-19
开发者在 RTX 5060 笔记本 GPU 上,用 65.5 万条样本对 Qwen2.5-1.5B 做微调,得到决策模型 QJev-1.5B:把 Qwen 最后一层隐藏态接入 MLP 决策头,单次前向(31ms)直接输出最多 10 个选项的校准概率,替代 LLM 逐 token 生成 "Option A" 的 400ms 自回归解码。
三阶段渐进训练:
- 先冻结 Qwen 只训 MLP 头;
- 再用 QLoRA 解冻注意力投影联合训练(峰值仅 5.9GB 显存);
- 最后用置换对上的软目标 KL 损失做一致性调优,消除格式偏好。
卖点:
- 推理比自回归快 10–20 倍,直接输出浮点概率,无 JSON 解析/重试;
- 4-bit 仅占 1.07GB 显存,或 20MB LoRA 适配器;
- 支持 Ollama、vLLM、llama.cpp/GGUF、FastAPI。
成绩: 官方严格基准(tol=0.05)62.53%,在 2B 以下档排第 1,超过 jiwo-4b、decision-4b 等 4B 模型;一致性 71.50%,接近 9B 模型(72%)和 27B(76.5%),而体积小 18 倍、速度快 6 倍。模型与代码已在 Hugging Face 和 GitHub 开源。
「模型」频道最新
- Hermes 适配器实战演示:35 次工具调用解出基础模型搞砸的 SWE-Bench Pro 任务 — yb2698 · 2026-11-19
- NousResearch 发布 Qwen3.8-27B Hermes 适配器:SWE-Bench Pro 29.4%→43.1%,token 省 3.5 倍 — yb2698 · 2026-11-19
- Gemini 4 Neon 被赞「品味最好模型」:一篇论智能时代如何生活的长文刷屏 — daniel_mac8 · 2026-11-19
- Gemini 界面现漏翻中文截图,博主质疑谷歌内部 AI Coding 使用率 — lipeng0820 · 2026-11-19
- SemiAnalysis 断言 DeepMind 已非前沿实验室,GCP 收入同比涨超 100% — natanielruizg · 2026-11-19
- OVH 发布欧洲自研开源模型 Olala mini:7B 稀疏架构可纯 CPU 运行 — jedisct1 · 2026-11-19