Fleuret 背书：Bigstate 使 1.5B 模型 GSM8K 从 26.8% 升至 37.2%
francoisfleuret · x · 2026-11-08
知名 AI 研究者 François Fleuret 转发并确认「Bigstate」训练方法确实有效：在 1.5B 参数模型上，相比 baseline，Post-SFT 训练 CE 从 0.000567 升至 0.000790（更高），但 GSM8K 8-shot 成绩从 26.76%（353/1319）大幅提升至 37.23%（491/1319），提升超 10 个百分点。
这一「训练损失略升但评测成绩大涨」的反直觉结果值得关注，暗示某种状态跟踪机制可能比单纯压损失更有效。
「研究」频道最新
- ChatGPT 的学习公式源于 1847 年：柯西为算行星轨道发明梯度下降 — burny_tech · 2026-11-08
- NeurIPS 2026 十月通讯：12 月悉尼开幕，公布资助与受邀报告 — NeurIPSConf · 2026-11-08
- 清华论文：CoT 监控被任务化隐藏目标骗过约 60% — rohanpaul_ai · 2026-11-08
- Kambhampati 波尔多大学开讲：LLM「思维轨迹」的迷思 — rao2z · 2026-11-08
- DeepMind 物理仿真器 MuJoCo 星标破 1.6 万,机器人研究基础设施持续走热 — google-deepmind · 2026-11-08
- Looped Transformers 研究热潮解析：6 层循环 4 次 vs 24 层堆一遍 — TheTuringPost · 2026-11-08