开发者驳「蒸馏万能论」:实验室靠海量采购数据,蒸馏只是安慰剂

gnukeith · x · 2026-11-23

本地 AI 社区开发者 gnukeith 发长帖反驳「开源模型全靠蒸馏」的说法:开源实验室的团队并非整天蒸馏别人的模型。以 Thinking Machines 为例,他认为其拥有顶级质量的训练数据;而他在隐私领域的工作经验表明,可公开获取和可购买的数据量巨大,实验室会购买天文数字级的数据来训练模型。

他举例称 xAI 收购 Cursor 是为了数据,之后 Grok 模型明显进步(此说法存疑)。结论:蒸馏的重要性被严重高估,更多是社区的心理安慰,实验室不互相蒸馏也没问题。他还补充说,既然闭源厂商「偷」了全网数据,蒸馏回来在道德上反而是正当的。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →