Fleuret 披露小模型实验：v1.4 训练翻车，FCA 类模型 GSM8K 领先

AI 研究者 François Fleuret 分享其小语言模型实验进展：v1.1 训练流程与基线完全一致，而 v1.4 采用了他形容为「有人会觉得不太自然」的非常规训练手法，但结果表现糟糕，训练中出现 loss 尖峰，预训练与 SFT 的交叉熵均不理想。相比之下，他展示的 28x/36x FCA 类模型在 GSM8K 基准上达到 41.17%，被认为更适合推理任务。

2026-11-15 ~ 2026-11-15 · 2 条相关