0.6B 后训练模型 MATH 翻车，根源竟是权重小 bug

Sebastian Raschka 发现一个 0.6B 后训练（instruct）模型在 MATH 基准上表现异常差，起初甚至以为是误测了 base 模型。Charles Frye 等人分析后指出，问题并非模型能力不足，而是权重中的一个小缺陷导致采样对结果极其敏感，属于可靠性问题。讨论中还确认 Qwen base 模型行为确实「很怪」，其 instruct 版本可以说被训得「有点烧坏了」。

2026-11-04 ~ 2026-11-04 · 3 条相关

• 研究员吐槽 Qwen 模型很怪，0.6B 版本训后「有点烧坏了」 — lateinteraction · 2026-11-04
• 0.6B 后训练模型 MATH 表现离谱，竟因权重里一个小 bug — rasbt · 2026-11-04
• 0.6B 后训练模型在 MATH 翻车：权重小缺陷致采样极敏感 — lateinteraction · 2026-11-04