0.6B 后训练模型在 MATH 翻车：权重小缺陷致采样极敏感
lateinteraction · x · 2026-11-04
Charles Frye 回应 Sebastian Raschka 时解释:那个 0.6B instruct 模型在 MATH 上表现差并非能力不足,而是 broken/可靠性问题——模型对采样参数和 prompt 极其敏感,根源疑似 weights 中一个微小缺陷;通过调整推理设置可以绕开该问题。
所属事件:0.6B 后训练模型 MATH 翻车，根源竟是权重小 bug(3 条相关)→
「模型」频道最新
- 分析称 Kimi K3 计算量过大，推理服务成本难承受 — teortaxesTex · 2026-11-04
- Kimi K3.1 Pro 曝光:采用 Gated DeepSeek 稀疏注意力做长上下文 — zephyr_z9 · 2026-11-04
- Nathan Lambert:中国开源实验室兑现放权承诺从未跳票 — natolambert · 2026-11-04
- MIT 研究：GPT-6 Astra 直接改权重，Qwen 数学准确率 7.9%→48.1% — The Decoder · 2026-11-04
- 月之暗面 Kimi K3.1-Pro 开放权重上线 Hugging Face — ApprehensiveAd3629 · 2026-11-04
- Moonshot 开源 Kimi K3.1 Pro：2.8T 参数 MoE、百万 token 上下文 — scaling01 · 2026-11-04