Agent 优化训练栈难被取代，但前提是人类架构设计靠谱

mike64_t · x · 2026-09-14

作者在讨论中认可一个总体结论：在有人类提供合格的架构设计与指导的前提下，由 agent 长期爬山优化（hillclimbed）出来的训练栈几乎无法被人工竞争。但他怀疑 SpaceX 实际是否真的做到了这一点。

在上下文中他还提到，自己不理解 DeepSeek 曾引发的「inline PTX」热潮：写内联 PTX 并不能像「直接写汇编」那样直接代表性能提升；倒是 AMD 平台上情况更真实——在 LLVM 寄存器分配较差的情况下，似乎只有写成内联汇编块才能逼近 roofline 性能。