长上下文下高量化更稳?实测 q6 与 q8 出现答案分歧

Viktri1 · reddit · 2026-11-14

Reddit 用户提问:在 300-400k 长上下文下,同一模型的高量化版本是否表现更好。作者以 Qwen Flash Next 为对象,从 q6 换到 q8 后做 A/B 测试,发现原本以为无损的 q6 在部分场景答错而 q8 正常。其猜想是:上下文越长、token 越多,量化误差的分歧被不断放大,实际退化可能比短上下文 benchmark 显示的更严重。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →