本地模型为何会卡在 JSON 重复里
mattjcoles · reddit · 2026-07-16
作者原本以为 Qwen3-VL-30B 在文档抽取任务上太慢，直到在 5090 上实际跑起来后，发现它并不是单纯的速度问题，而是会陷入重复输出同一段合法 JSON 的循环。 他对 37 页文档做了尝试，并比较了 Qwen 和 Gemma 的表现，重点讨论了在语法约束下模型为何会出现这种“重复陷阱”。这类问题对本地模型做结构化抽取非常关键，因为它会让结果看起来格式正确，但实际任务已经失败。
mattjcoles · reddit · 2026-07-16
作者原本以为 Qwen3-VL-30B 在文档抽取任务上太慢，直到在 5090 上实际跑起来后，发现它并不是单纯的速度问题，而是会陷入重复输出同一段合法 JSON 的循环。 他对 37 页文档做了尝试，并比较了 Qwen 和 Gemma 的表现，重点讨论了在语法约束下模型为何会出现这种“重复陷阱”。这类问题对本地模型做结构化抽取非常关键，因为它会让结果看起来格式正确，但实际任务已经失败。