实习生训练小模型赢前沿模型
iamrobotbear · x · 2026-07-14
Austen 提到，他们给来自 Stanford、MIT、UT Austin 的 63 名实习生布置了一个挑战： - 训练一个小语言模型，在某个细分任务上打败前沿模型 - 不是做 prompt engineering，也不是搭 harness，而是直接训练模型 引用里举的例子是一个视觉语言模型（SVLM）只专注“读乐谱”这一件事： - 前沿模型要花数百万 token、几小时去写脚本和分析符号，准确率仍低于 50% - 该小模型在单卡上 10 秒即可达到 98% 准确率