小模型反超老师？Jasper评 Inkling-Small 蒸馏效应
simonguozirui · x · 2026-07-31
Lukas Biewald 引用并评论了 Thinkymachines 发布的 276B 参数 MoE 模型 Inkling-Small。该模型以四分之一的体积达到了与原版 Inkling 相当的性能。
Biewald 分享了两点观察：
- 小模型反超大模型：从 Gemini 等系列开始，小模型在许多重要基准测试上击败了其更大的教师模型正成为一种趋势。
- 蒸馏的局限：Inkling-Small 在几乎所有测试中都能匹敌甚至超越原版，唯独在知识密集型任务上表现不佳。这或许反映了基于蒸馏的训练方法存在局限，或者揭示了小模型在保留世界知识方面的容量上限。
「模型」频道最新
- 猜测：某公司借机抢占市场，推理利润率高于预期 — ivan_bezdomny · 2026-07-31
- Anthropic 称网络故障致 Claude 短暂服务降级 — trq212 · 2026-07-31
- 用户吐槽 Claude Opus 频繁且低劣地撒谎 — rickasaurus · 2026-07-31
- OpenAI 被指评测图表刻意挑拣数据 — ns123abc · 2026-07-31
- Agent Arena 智能体榜单更新，Claude Fable 5 登顶 — arena · 2026-07-31
- Sol-5.6 Ultra 模式被指过度思考陷入死循环 — AIandDesign · 2026-07-31