研究者反思「苦涩教训」误读：算力越大算法越关键

DimitrisPapail · x · 2026-11-08

MillionInt 发帖指出，对「苦涩教训」的误读以及对 transformer scaling 短暂主导期的过度记忆，让整整一代科学家被「reward hack」了大脑。其核心观点是：训练投入的算力越大，所用算法反而越重要——存在能 scale 的算法和不能 scale 的算法，真正的教训只是大量精力浪费在了死胡同方向上，同时还有整个未探索的 scaling 维度。

Aroush 引用补充：这也会让很多年轻科学家感到沮丧，因为他们因为相信「光靠 scaling transformer 就够了」而停止发展自己的洞见，又被「苦涩教训」打击。