Chinchilla 论文:更小模型喂更多数据,反超 GPT-3 级巨兽

alex_verem · x · 2026-10-13

线程第 2 篇:DeepMind 的《Training Compute-Optimal Large Language Models》(Chinchilla)。作者训练了 400 多个 70M 到 16B 参数的语言模型,发现算力最优训练下模型规模与训练 token 数应等比扩展——模型每翻倍,数据也该翻倍;此前的大模型普遍「训练不足」。按此假说训练的 Chinchilla(70B 参数、数据量 4 倍)在与 Gopher 相同算力预算下,全面超越 Gopher(280B)、GPT-3(175B)、Jurassic-1(178B)和 Megatron-Turing NLG(530B),且微调和推理成本大幅降低。模型大小从此不再是唯一关键。