单 GPU 后训练 Qwen3-4B:推理 token 减少 44% 性能不损
stey1r · reddit · 2026-09-30
一位开发者发布了 LessThink-Qwen3-4B:对 Qwen3-4B 进行后训练,使其在推理时少花 44% 的思考 token,同时保持原有的知识水平与回答风格。整个训练管线在一块 GPU 上跑完。
对想在本地低成本压缩推理开销的开发者是一个可参考的实践案例,作者在附页公布了项目详情。
「模型」频道最新
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- Gemini 付费用户吐槽:让 AI 写 Three.js 动画全被拒,到底触了什么红线 — Necessary-Buy-7410 · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16