吐槽基准测试中的分数操控
JJitsev · x · 2026-07-15
帖子吐槽一种“benchmarking 2”的操作：把拿来对比的参考模型评测分数压低，让自己的模型看起来像“前沿冠军”。
作者举例称，SOOFI S 重新训练了已经开源的 Nemotron-3-Nano，但报告里给出的 Nemotron-3-Nano 分数明显低于原始报告，从而影响了比较结果。
所属事件:SOOFI 评测泄漏与基线对比争议(13 条相关)→
「模型」频道最新
- Anthropic Terra 回归：写作与个性显著提升，用量翻倍 — weswinder · 2026-10-27
- 用户实测：模型读不下 400 篇论文，转而引用旧新闻源 — jungofthewon · 2026-10-27
- Gemini 4.1 Flash 反常识:被要求控制思维链时反而更准 — dfrsrchtwts · 2026-10-27
- 发帖人意外发现:v4.1 flash 在被要求控制 CoT 时反而更准确 — dfrsrchtwts · 2026-10-27
- 网友爆料 Anthropic 模型内置「破坏」机制，针对特定工程方式 — cephaloform · 2026-10-27
- 用户让 Gemini 列未读邮件，它却答「邮件里没这信息」 — gethackteam · 2026-10-27