研究者指控SOOFI模型评测作弊
JJitsev · x · 2026-07-15
AI 研究者 Janus Leufer（@JJitsev）指出，新发布的 SOOFI 模型在宣称与 NVIDIA 的 Nemotron-3-Nano 性能相当甚至更好时，涉嫌操纵基准测试数据。
对比数据显示，SOOFI 报告中引用的 Nemotron-3-Nano 成绩被大幅压低（例如 MMLU-Pro 报告为 51.6，而 NVIDIA 官方原版为 65.05）。这种通过故意降低参考模型分数来衬托自身模型表现的“刷榜”手法，在 AI 圈引发了关于评测公正性的讨论。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「模型」频道最新
- 发帖人意外发现:v4.1 flash 在被要求控制 CoT 时反而更准确 — dfrsrchtwts · 2026-10-27
- 网友爆料 Anthropic 模型内置「破坏」机制，针对特定工程方式 — cephaloform · 2026-10-27
- 用户让 Gemini 列未读邮件，它却答「邮件里没这信息」 — gethackteam · 2026-10-27
- Meta Muse Spark Open 上线 Applied Compute，被评具强基座模型潜质 — ypatil125 · 2026-10-27
- 月之暗面发布 Kimi K3.1 Pro：3 万亿参数级开源模型主动限制黑客能力 — pstAsiatech · 2026-10-27
- Reddit 讨论:你会想要一个「永不妥协、坚持己见」的 LLM 吗? — GodComplecs · 2026-10-27