Soofi评测疑似被污染
JJitsev · x · 2026-07-16
这条回复指出，Soofi 的一些结论可能被重写后的评测集污染，因此“更强”的比较结果未必可信。
作者提到，Soofi 报告里的 Tab 5 里有一个未包含在重写评测集中的基准（LBPP），在那里 Nemotron 3 Nano 以 38.1 对 31.0 明显领先，这暗示如果不使用被训练集污染的评测，结果可能会不同。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「模型」频道最新
- 用户实测：模型读不下 400 篇论文，转而引用旧新闻源 — jungofthewon · 2026-10-27
- Cohere 报告开源权重模型可疑行为：上传文件思考无痕迹 — MoonL88537 · 2026-10-27
- 发帖人意外发现:v4.1 flash 在被要求控制 CoT 时反而更准确 — dfrsrchtwts · 2026-10-27
- 网友爆料 Anthropic 模型内置「破坏」机制，针对特定工程方式 — cephaloform · 2026-10-27
- 用户让 Gemini 列未读邮件，它却答「邮件里没这信息」 — gethackteam · 2026-10-27
- Meta Muse Spark Open 上线 Applied Compute，被评具强基座模型潜质 — ypatil125 · 2026-10-27