35B模型越级打怪？社区质疑其基准污染
LegacyRemaster · reddit · 2026-08-10
Reddit 用户对 endless-frontier 发布的 BigBang-v1（基于 Qwen 3.5 微调的 35B 模型）的优异评测成绩提出强烈质疑。
- 评测方法不透明：官方宣称的综合性能介于 DeepSeek Flash 和 Pro 之间，但未说明如何加权计算，且单项成绩差异极大（如 HLE 得分 50，而 BioMystery-HD 仅 15.7）。
- 疑似基准污染：一个 35B 模型能与 284B–1.6T 巨兽抗衡极其可疑。作者指出其训练使用了基于“保留真实研究任务”校准的评估器，这极有可能导致测试集泄露到了训练分布中。
- 呼吁社区进行真实的第三方测试，以验证其是否过拟合了测试集。
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7：Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯：抠掉 Llama 3 全部权重矩阵还剩几个参数？ — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记，全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色，获赞预训练扎实 — SonglinYang4 · 2026-10-16