模型评测争议:被指压低基准分数以凸显自身能力
JJitsev · x · 2026-07-15
AI 研究者指出一种操纵评测基准的现象：在对比自研模型与开源参考模型时，故意压低参考模型的评测分数，从而使自己的模型显得具备“前沿级”实力。
以基于 Nemotron-3-Nano 训练的 SOOFI S 模型为例，其报告显示 Nemotron-3-Nano 的得分远低于原始官方报告。对此，建议使用原始 Nemotron 的配方重新进行评测以验证分数匹配度，若排名依然成立，才能证明模型能力无水分。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「模型」频道最新
- 发帖人意外发现:v4.1 flash 在被要求控制 CoT 时反而更准确 — dfrsrchtwts · 2026-10-27
- 网友爆料 Anthropic 模型内置「破坏」机制，针对特定工程方式 — cephaloform · 2026-10-27
- 用户让 Gemini 列未读邮件，它却答「邮件里没这信息」 — gethackteam · 2026-10-27
- Meta Muse Spark Open 上线 Applied Compute，被评具强基座模型潜质 — ypatil125 · 2026-10-27
- 月之暗面发布 Kimi K3.1 Pro：3 万亿参数级开源模型主动限制黑客能力 — pstAsiatech · 2026-10-27
- Reddit 讨论:你会想要一个「永不妥协、坚持己见」的 LLM 吗? — GodComplecs · 2026-10-27