0.6B 微调后反超 27B:小模型专精化碾压通用大模型
mshubham · reddit · 2026-10-16
开发者对 vLLM-SR 的 d3-edge(0.6B)做简单的 SFT + LoRA 微调,仅用几千条训练样本,就在路由决策任务上反超了 45 倍大的 d3(27B)。
- Typed Decisions(结构化决策):0.6B 基线 42.2% → 微调后 79.2%,超过 27B 的 74.4%
- Banking77(77 类意图分类):89.5% → 91.7%,接近 27B 的 92.2%
作者据此主张:与其每个任务都上通用大模型,不如微调小型专用决策模型,并附上了可复现的 Colab。
「编程与Agent」频道最新
- NVIDIA 发布 cuPotential,将 AI agent 引入芯片工厂车间 — AllThingsApx · 2026-10-16
- Grok Bot 官方模板成金矿:5 分钟定时任务月烧 400 美元算力 — elonmusk · 2026-10-16
- Harness 开源桌面与移动端应用:跨框架跨机器编排 agent 集群 — dee_hw · 2026-10-16
- 开源 Google Analytics MCP Server:自然语言查网站数据 — modelcontextprotocol · 2026-10-16
- 研究者长期实验:什么样的提示词能让 LLM 产出最有意思的点子? — arjunrajlab · 2026-10-16
- 开发者开源 Agent Standup:把 Claude Code 子代理变成可视化「视频会议」 — stickygoose · 2026-10-16