合成数据已成训练主流：小模型训练本质是蒸馏
RexDouglass · x · 2026-09-07
Gregory Diamos 提出观点：如今的训练数据混合中，每个来源都是用大模型精心构建的合成产物，因此训练小模型本质上就是蒸馏。他指出，上次学界认真研究这种规模的模型时，这类语料还不存在——意味着针对小模型能力的旧结论可能不再适用于合成数据时代。
「模型」频道最新
- 实测打脸'AGI已到':Astra 四项任务三项不能正常工作 — Firm-Club-8334 · 2026-09-07
- Similarweb 流量榜:ChatGPT 份额一年从 73.3% 降至 55.5% — gaganghotra_ · 2026-09-07
- GPT-6 Astra 疑似上架 Simple-Bench，或含 Pro 版本 — From_Internets · 2026-09-07
- 实测 Gemini 当音乐理解模型:Pro 3.1 靠谱,Flash 幻听严重 — teropa · 2026-09-07
- GPT-6 Astra 在 ClockBench 斩获 65.6% 成绩 — Well_being1 · 2026-09-07
- 腾讯混元 Hy4 preview 升级:砍掉冗长思考,token 用量显著下降 — xeophon · 2026-09-07