独立开发者发现 RNN 训练环境缺陷后叫停,转向 Funsearch 式任务

一位独立开发者正自建训练管线,目标是训练出 2B 规模、能实际干活的小模型,并表示不在意 batch size 大小。训练过程中他发现 RNN 训练环境存在缺陷,为保证安全决定提前停止原计划数日的训练,并将任务拆分为优化器工程、课程排序、辅助损失设计等方向,后续还计划开展更多 Funsearch 风格的任务。

2026-11-12 ~ 2026-11-12 · 3 条相关