Unsloth UD_IQ1_M 量化实测:省 6GB 但工具调用频繁崩坏

SomeoneInHisHouse · reddit · 2026-11-13

用户在 Strata 上实测 Unsloth Dynamic 3.1 的 UDIQ1M 量化:官方图表显示它比 IQ3XXS 省 6GB(直接换来自由内存),但用了 3 天就多次出现工具调用失败、输出退化为裸 XML 的情况,需要手动输入 "keep going" 才能继续;而之前用 IQ3XXS 两个月从未遇到此问题。作者贴出了具体的失败输出示例并向社区求证。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →