GPU 过热降频:训练莫名变慢的元凶是热力学

dejanseo · x · 2026-10-24

博主 @dejanseo 分享了一次踩坑:某些训练跑得比其他的慢,「毫无明显原因」,最后发现是热节流——监控面板显示 GPU 温度 88°C,SM 时钟被压到 1515 MHz(仅为最大 3105 的 49%),功耗只有 120W 但利用率 100%。

也就是说显卡因过热主动降频,吞吐(123K tokens/s)和 step 时间(316ms)全被打折。他自嘲「玩家早就懂这个道理」。对自建训练/微调环境的人来说,监控温度和 SM 时钟和监控 loss 一样重要。