不用反向传播做预训练:Noise 挑战赛十天被社区提速 4000 倍

Crazy-Repeat-2006 · reddit · 2026-10-23

qlabs 推出 Noise:一个限定模型、数据与评分的预训练 speedrun,规则是全程不运行任何反向传播,分两条赛道比拼能把 validation loss 压到多低、多快。官方基线 Dust 的成绩为 4.167。

上线仅十天,社区提交把速度提升了超过 4000 倍:不跑 backward pass 达到 validation loss 4.2 的时间从 1.76 小时缩短到 1.6 秒。官方此前估计在 Dust 之上还有约 1000 倍的提速空间,没想到十天就被突破。

所属事件:无反传预训练十天提速4000倍至1.6秒(6 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →