ThinkingMachines 蒸馏小模型反超大杯，编程推理能力逆袭
量子位 · wechat · 2026-07-31
ThinkingMachines 发布了 Inkling-Small 模型（总参数 276B，激活 12B）。令人惊讶的是，该蒸馏模型在部分指标上反超了教师大模型：在 HLE 测试中得分为 31.6%（大模型为 29.7%），在 SWEBench Verified 上突破 80%（大模型为 77.6%）。
这种反超并非单纯依赖挑选有利基准，而是在同等算力成本下，小模型的 test-time compute 曲线始终高于大模型。官方揭示了反超的秘诀：利用时间差，调整了预训练数据配比，并叠加了以大模型为教师的在线策略蒸馏，最后额外进行了两周针对智能体编程的强化学习。
不过公告也指出了小模型的能力边界：在依赖参数规模的硬知识和事实性任务（如 SimpleQA Verified）上，大模型依然具有压倒性优势。
所属事件:Mira Murati新创企发布开源MoE模型Inkling-Small(41 条相关)→
「模型」频道最新
- KOL 驳斥「DeepSeek 错失 Agent 浪潮」：实测打脸 — teortaxesTex · 2026-07-31
- DeepSeek 被赞为唯一推动 API 降价的厂商 — teortaxesTex · 2026-07-31
- Redis 作者推进本地运行模型 DwarfStar — antirez · 2026-07-31
- SOTA模型行为观察：要求修错别字时总爱擅自重写 — mitsuhiko · 2026-07-31
- 通义千问发布 Qwen-Audio-3.0-ASR-Flash，强化热词与领域识别 — Alibaba_Qwen · 2026-07-31
- 模型推理成本骤降80%，开启“廉价智能”时代 — teortaxesTex · 2026-07-31