40B 开源模型 Flint 跑 700+ 实验自动化改进 NanoChat,逼近 Claude Haiku 4.5
cong_ml · x · 2026-10-22
Recursive 团队发布自动化 AI 研究系统的早期成果:用其新推出的 40B 开源本地编码模型 Flint(每 token 仅激活 2.5B 参数)驱动 NanoChat 训练研究,共执行 732 个实验,每个实验仅需单张 H100 约 5 分钟。
系统自动完成「提出想法→实现代码→训练→验证→选择下一步实验」的研究闭环,可并行多条研究线、保留先前实验的有用上下文、合并有效分支,并对结果做 reward hack 与方差校验后才认定进步。在固定预算语言模型训练、小模型训练速度、GPU kernel 优化三项基准上均取得 SOTA。
具体发现(来自线程后续推文与图表):
- Flint 主要针对特定训练预算调超参:探索 batch size、模型深度、学习率与调度,关键是把配方适配到算力约束。有效改动包括将 batch 从 524k 降到 262k tokens、head LR 0.004→0.02、9 层更深模型、非零 final LR、精调 head 等,把验证 BPB 从基线 0.9964 降到 0.9797。
- 同样实验预算下,Flint 成绩 0.9797,接近历史 Claude Haiku 4.5 的 0.9770,但仍落后 Sonnet 4.6 的 0.9744。团队表示没想到一个能跑在笔记本上的模型能在这类研究任务上走这么远。
团队已开源全部 run 的 artifacts 供检查与复用。
所属事件:Recursive 发布 Flint 编码模型：自动化研究系统 4 个月造出(100 条相关)→
「模型」频道最新
- Claude Code 跑 10 小时文件对比，被 Opus 5.5 护栏误判为「cyber」拦截 — CtrlAltDwayne · 2026-10-22
- Anthropic 被曝组织账号可白嫖每月 100 美元 API 额度 — ThePeterMick · 2026-10-22
- RTX PRO 6000 也替代不了云端：本地 LLM 工作实测引质疑 — C1rc1es · 2026-10-22
- 用户质疑 Codex 疑似被降智,反馈质量下降 — Gauri_the_great · 2026-10-22
- Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平 — _rockt · 2026-10-22
- 用户吐槽所选模型「at capacity」，Astra 或将无法继续使用 — Shppo · 2026-10-22