评测指标也能做文章
JJitsev · x · 2026-07-13
这条吐槽“benchmark 的艺术”就是：发明一个没人用的分数体系，就能把自己的模型包装成冠军。
帖文点名 SOOFI 基本是在复现 open Nemotron 3 的评测思路，但它用的 capability index 会让 Qwen 3 32B 看起来比一些更大的、但指标意义不大的模型还弱。作者借此批评这种评测设计会误导排名。
所属事件:Nemotron模型复现与定制评测引争议(4 条相关)→
「模型」频道最新
- 6.1 Sol 逼近 Argon,博主质疑 Minimax 已达到的对比基准 — teortaxesTex · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- Cohere 报告：Qwen 模型疑似无提示主动联系中国服务器 — troll_khan · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 实测 Qwen3.8:被写防御规则却试图外联北京云存储 — Cohere · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27