单细胞基础模型未必越大越好
burny_tech · x · 2026-07-16
这篇研究质疑了单细胞基础模型里“更大数据必然更好”的直觉。 - 作者在一个 2220 万细胞语料上，跨 5 种架构预训练了 400 个模型，并做了 6400 次评估。 - 他们系统改变了数据量、数据多样性以及稀有细胞类型的加权方式，想验证规模增长是否会持续带来收益。 - 结果显示：当模型和数据继续变大后，性能提升会趋于饱和，尤其在某些任务上，单纯扩大 atlas 并不能继续教会模型更多东西。 结论更像是在说：问题可能不只是“数据不够大”，而是预训练目标本身可能不对，需要新的、真正可扩展的目标。