小红书HintTuning:千条数据一次SFT,推理token省31.5%
小红书技术REDtech · wechat · 2026-10-22
小红书技术团队 NeurIPS 2026 论文 HintTuning 发现:推理模型连简单题也过度思考——同家族 Instruct+Thinking 模型都答对的题,后者输出长 5-8 倍;而把 Thinking 模型思维链切成片段给 Instruct 模型作提示,平均只需原推理 27.5% 的步骤、11.9% 的 token 就能答对,说明多数题目只有开头几步推理真正关键。
方法上,论文提出「最小有效提示」:以反思词为界切分思维链,逐段喂给 Instruct 模型探测其答对所需的最少片段数,据此把 1000 道题(s1K)构造成「不想/少想/完整思考」三状态数据,一次标准 SFT(8 卡 H20 训练 2-10 小时)即可让模型按难度分配思考深度。在 Qwen3-4B-Thinking 和 DeepSeek-R1-Distill 7B/14B/32B 上,数学基准推理 token 平均减少 31.5%(分基准 24%–66%),准确率基本持平;AMO-Bench 上 Qwen3-4B 准确率从 10.3 提至 20.5。消融显示:答错的轨迹也有训练价值,且用模型自己的轨迹比用更强模型的轨迹效果更好。论文、代码、模型与数据均已开源。
「模型」频道最新
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- 爆料称 Anthropic 正训练对标 OpenAI 内部模型的新模型 — imjustnewatai · 2026-10-23
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23