Fleuret 自曝:用「非常规」训练手法得到一类适合推理的模型
francoisfleuret · x · 2026-11-15
AI 研究者 François Fleuret 透露,其小型语言模型项目此前 v1.1 的训练流程与基线完全一致,而 v1.4 则「做了一些有人会觉得不太自然的事情」。
他此前形容 v1.4 训练过程是一场灾难:loss 到处尖峰、预训练 CE 和 SFT CE 都很差——但他认为自己恰好找到了一类很适合做推理的模型。目前未公开具体改动细节。
所属事件:Fleuret 披露小模型实验：v1.4 训练翻车，FCA 类模型 GSM8K 领先(2 条相关)→
「模型」频道最新
- Carbon 智力碾压 Opus 5.5?网友实测提出「规划+执行」混搭用法 — rudrank · 2026-11-15
- 网友用 Gemini 单文件复刻整站 UI，零外部库零素材 — fofrAI · 2026-11-15
- GPT-6.2 迟到的是传闻不是模型：爆料号日期全落空 — lxfater · 2026-11-15
- 内部人士称 OpenAI 掉队论被夸大：Astra 仍可与 Opus 5.5 竞争 — haider1 · 2026-11-15
- 欧盟开源模型 EUROPA 冲击万亿参数,单卡吞吐已优化 14 倍 — mawcopolow · 2026-11-15
- RNN 记忆长短由循环矩阵特征值决定，LRU 用环形初始化破局 — RobertTLange · 2026-11-15