质疑「小模型做评测」护城河论：大厂迟早蒸馏进自家模型

Shahules786 · x · 2026-10-08

一位开发者对监控平台以「我们有小模型专做评估与错误分析」为差异化卖点的说法表示怀疑。他 2024 年初就尝试过这条路：针对特定工作负载后训练一个小模型，确实比用前沿模型便宜很多。

但问题在于，实验室完全能把这类能力蒸馏进更便宜的通用模型（如 Astra → Luna），而且它们拥有数据、算力和内部需求持续迭代。作者认为这里的激励尤其强：研究人员在训练和数据准备全程都需要评估与错误分析，实验室自己就被这个问题困扰，因此每家实验室都有动力把这类能力内建到自己的模型里。