Marin 自曝:Mochi 535B 预训练基准污染去污流程未能拦住
dlwh · x · 2026-11-18
Marin 团队披露,在 Mochi 535B-A23B 预训练中发现了来自常见预训练基准的实质性数据污染,而他们现有的去污染(decontamination)流程未能检测出来。
- 这影响了哪些模型对比成绩可以公平报告
- 团队已在博客中文档化了事件经过,并附上完整调查链接
这是继开放 57 个中间检查点之后又一透明度动作,对业内「去污染流程是否可靠」是一个值得注意的实证案例。
「研究」频道最新
- 生成式 AI 进心脏病学:Dagstuhl 跨学科研讨会落幕 — StephanMandt · 2026-11-22
- SubRoformer 用 DSP 子带滤波器刷新音乐源分离 SOTA — affige_yang · 2026-11-22
- Emily Riehl 推出 Lean 证明入门游戏,用交互方式教依赖类型论 — abhi9u · 2026-11-22
- Android 移动 Agent 评测论文清单:从 AppAgent 到 AndroidReality — East-Muffin-6472 · 2026-11-22
- 研究者对比机制可解释性与神经科学:人类大脑如何做因果验证? — burny_tech · 2026-11-22
- 研究者提出“自然语言流形”概念,与物理时空相关词尤明显 — yasamanbb · 2026-11-22