生产事故复盘：Python 信号超时失效与显存爆炸的排查

Reasonable_Royal_621 · reddit · 2026-08-25

作者在微调语义缓存验证器时遇到一次严重的生产事故：配置了 1 小时超时的任务却运行了近 10 小时。排查发现两个关键问题：1. Redis Queue 的超时依赖 Python 信号处理，当进程卡在 C 扩展（如 PyTorch 的 self-attention）的单一操作中时，信号无法触发，导致超时失效；2. 模型未设置 maxlength，导致长文本在 self-attention 中引起内存平方级增长（OOM）。解决方案是限制 maxlength 为 128 tokens 并减小 batch size。