2B 模型跑 FunSearch 1.7 天仅中一次,作者自评蒸馏起步策略
cephaloform · x · 2026-11-11
开发者分享用 2B 模型跑 FunSearch 任务(Dudeney 1917)的进展:1.677 天、22 步才命中一次正解,作者复盘称应使用基于 3.8 27B LoRA 的完整 logit 蒸馏作为起点。
所属事件:开发者用 2B 小模型跑 FunSearch 1.7 天仅命中一次(2 条相关)→
「研究」频道最新
- tszzl 晒神经元观察：模型内部抽象不可还原且有趣 — tszzl · 2026-11-11
- 「外星优化器」兴起：搜索与元学习正取代手写学习规则 — menhguin · 2026-11-11
- OpenAI联合Upwork研究：AI对工作的冲击信号正藏在你接的接单里 — Exp_Mark · 2026-11-11
- 触觉编码器跨传感器泛化:接触误差从 5.89mm 降至 0.16mm — kimmonismus · 2026-11-11
- 5000 小时触觉数据:机器人最稀缺且无法爬取的训练输入 — kimmonismus · 2026-11-11
- 作者两年实测:不用扩散头,后训练 Transformer 直接生成音频 — kastnerkyle · 2026-11-11