别急着谈作弊:商业端点跑分本来就是按效果说话
RexDouglass · x · 2026-11-17
在关于基准测试「作弊」的争论中,作者提出反驳:如果真有私有的、刻意生成且确认在训练集之外的基准,而厂商报告了其成绩,那就把链接拿出来;如果跑分对象是厂商的商业端点,那本质上就是「什么有效就用什么」——很可能是覆盖不同语料、不同价格与延迟档位的廉价与昂贵信号的集成方案,不理解为何有人对此盲目追捧或苛责。
所属事件:某模型跑分作弊争议:扩模型规模即可解释成绩(2 条相关)→
「模型」频道最新
- 让 ChatGPT 和 Claude 扮演 NeurIPS 审稿人,AI 论文被拒 — burny_tech · 2026-11-17
- X 热议某模型成绩争议:3B 开源放大到 ~60B 就能解释,无需怀疑作弊 — RexDouglass · 2026-11-17
- 医生吐槽 OpenEvidence 宣称「降低全因死亡率」:这种话别乱说 — EricTopol · 2026-11-17
- wojak-bench 走红:让 AI 照图纸做手办再盲投票排名 — osanseviero · 2026-11-17
- Zvi 长文评 Claude Fable 5.2:日常够用,难任务才是「火箭筒」 — TheZvi · 2026-11-17
- 用户切换 AI 模型有多快?LukeW 再添一个数据点 — LukeW · 2026-11-17