Fleuret：v1.4 训练翻车，FCA 类模型 GSM8K 达 41.17% 更胜一筹
francoisfleuret · x · 2026-11-15
François Fleuret 分享其小模型实验结果：v1.4 训练表现糟糕，loss 尖峰频发、预训练与 SFT 的交叉熵都偏差。配图对比了 28x/36x FCA 模型（1519 亿参数）与 v1.1/v1.4（约 15.1 亿参数）：FCA 版本虽预训练 CE 略优（约 2.07-2.10），但 v1.4 的预训练 CE 达 2.13、GSM8K 准确率仅 33.28%；v1.1 最终 GSM8K 准确率 41.17% 最高。他表示「我觉得找到了一类很适合推理的模型」，指向 FCA（类卷积/注意力变体）架构在小模型推理任务上的潜力。
所属事件:Fleuret 披露小模型实验：v1.4 训练翻车，FCA 类模型 GSM8K 领先(2 条相关)→
「研究」频道最新
- 世界模型幻觉研究获 CoRL 2026 PhysWM 工作坊最佳论文奖 — LerrelPinto · 2026-11-15
- RNN 记忆长短由循环矩阵特征值决定，LRU 用环形初始化破局 — RobertTLange · 2026-11-15
- Ropedia Xperience 2:把人类示范与场景扫描复用到机器人仿真的对齐方法 — liuziwei7 · 2026-11-15
- ICLR 投稿飙至 4.2 万篇，录取率还能维持 26-28% 吗 — This_One_3612 · 2026-11-15
- AI 研究圈呼吁：消融实验要做严格、变量间不能混淆 — MuCai7 · 2026-11-15
- Pinterest 用 4B 微调模型替代聚类管线,邮件点击率升 1.1% — nilukush · 2026-11-15