两周日志实测:Qwen 27B 量化越狠思考死循环越多,成功率 92%→78%

Old_Ad_6033 · reddit · 2026-10-31

作者在自己重度 Agent 负载下对比 Qwen 27B 的 INT8(4×3090)与 AWQ INT4(2×3090),同采样参数、Hermes harness 和循环检测器,各取两周日志：

模型调用 17.7k→11.4k;每千次调用死循环 1.9→4.7;含循环会话 6%→12%;轮次成功率 92%→78%。
推理长度相近,排除「量化模型想更久」的解释;所有循环都发生在思考块内(反复「Let me write it. Wait let me...」十多行,或同一案例分析复述几十遍)。
截断后让模型继续,14–22% 会再次循环(正常 <1%),说明是上下文而非采样运气所致。
INT4 劣势随上下文增长:40k token 以下循环频率是 INT8 的 1.4 倍,80–120k 时达 3.3 倍。
实用技巧:投机解码下循环表现为平滑的速度尖峰(200 vs 107 tok/s,草稿模型很擅长预测重复文本),可做廉价 watchdog 信号。

HF 讨论区报告 BF16 也有 20k+ token 思考螺旋,故非纯量化问题,INT4/Q4 只是显著放大,尤其长上下文。日常助手场景循环少很多。作者已存下所有循环上下文,等 Qwen4 27B 发布后回放对比。

「Infra」频道最新