GTX 1650 跑 LLM 基准：GPU 过热致吞吐量暴跌 31%

the-random-guy-2002 · reddit · 2026-11-03

Reddit 网友在为小型 Transformer 实现 KV caching 时，测未缓存基线撞上了热节流陷阱：同一提示词、权重与解码设置下，重复 512-token 生成从 2.77 秒恶化到 4.04 秒，吞吐从约 185 降到 127 tokens/sec（跌幅约 31%），GPU 后期温度达 84–87°C、活跃频率下降。每次调用含五轮完整预热（计时只取最后 512 token），降温后重复测试稳定回到 2.77–2.80 秒。作者未做时间戳对齐的节流原因记录，无法把减速完全归因于温度，但足以说明推理优化对比中运行条件的重要性，并附图表与博文。提问区讨论：基准测试该冷却间隔、测持续性能还是两者都报。