编辑 0.016% 权重根治 Qwen 推理死循环，MATH-500 从 7.9% 升至 48.1%
DeliciousGorilla · reddit · 2026-11-03
Reddit 作者用 Jacobian lens 可解释性工具深入观察了 Qwen3.5-0.8B 的「Wait」推理死循环现象，并复现了 MIT CSAIL 的权重编辑修复方案。
- 背景：MIT CSAIL 用 GPT-6 Astra 仅编辑模型 0.016% 的权重就修复了 Qwen3.5-0.8B 的推理循环，MATH-500 成绩从 7.9% 升至 48.1%，且公开了 diff 可精确复现
- 循环时的内部状态：在模型决定再写「Wait」的 token 上，从约 60% 深度起，lens 读出「Wrong」「Nope」「Hmm」等自我怀疑信号，尽管答案已写完；而真正停止时读出「</think>」「Answer」「Output」
- 编辑后的变化：同一位置的读出变为「Verification」「Completion」「Result」，怀疑信号消失
- 量化验证：编辑可干净转换为 GGUF，Q4KM 下仍有效，40 次生成仅 1 次循环；作者在 Ryzen AI 9 HX 370 迷你主机上用 llama.cpp（Vulkan）跑完评测，代码与数据均已开源
所属事件:编辑 0.016% 权重即可破解 Qwen 推理死循环(2 条相关)→
「模型」频道最新
- Gemini 编造来源被抓包，陷入自我贬低道歉螺旋 — repligate · 2026-11-03
- 每周训练一个微型专用模型:语音讽刺检测 50ms 内跑在 CPU 上 — iamrobotbear · 2026-11-03
- 中国 AI 实验室忧心美国率先实现递归自我改进,蒸馏变难转攻合成与专家数据 — McDonaghMatthew · 2026-11-03
- OpenAI 数学突破模型提前发布，安全测试时间遭质疑 — haider1 · 2026-11-03
- 网传 GPT-6.2 Astra 酷炫演示存疑：实测截图暴露 Python 痕迹 — Angaisb_ · 2026-11-03
- Llama.app 上新:LFM3、Mistral Large 4 与 Flint 三款模型上架 — mervenoyann · 2026-11-03