0.6B 后训练模型 MATH 表现离谱，竟因权重里一个小 bug
rasbt · x · 2026-11-04
Sebastian Raschka 表示他原本以为测的是 base 模型,因为没料到后训练版在 MATH 上会差到这种程度。Charles Frye(@lateinteraction)指出问题模型是 instruct/后训练版,0.6B 规模下表现异常(fried)。Frye 进一步解释:模型并非完全不可用,而是 broken——对采样设置和 prompt 极其敏感,根源疑似 weights 里的一个小问题;通过调整推理设置可以绕开,所以这不是能力问题,而是可靠性问题。
所属事件:0.6B 后训练模型 MATH 翻车，根源竟是权重小 bug(3 条相关)→
「模型」频道最新
- Unsloth 发布 Qwen3.8-Flash-Next 量化版，精度提升 10-15% — danielhanchen · 2026-11-05
- Arena 数据：任务越贵 Gemini 4 Carbon 成本优势越大，达 GPT-6 Astra 的 1/3.4 — arena · 2026-11-05
- QwenPuter 拆解：CPU 模拟器真的藏在 Qwen 权重里，但完全隔离子网络 — srchvrs · 2026-11-05
- Artificial Analysis 公开 API 基准方法论:每 6 小时测一轮,含多轮 agentic 负载 — ArtificialAnlys · 2026-11-05
- GLM-5.3 最快端点首 token 要等 18-26 秒,新口径下排名下滑 — ArtificialAnlys · 2026-11-05
- Artificial Analysis 改版 API 基准:「每任务耗时」成核心指标 — ArtificialAnlys · 2026-11-05