Scale 评测负责人回应刷榜质疑:新任务永续,刷榜者结构劣势
cHHillee · x · 2026-10-30
mertgulsun 回应外界对评测「刷榜」（benchmaxxing）的担忧，表示并不担心：从结构上讲，试图针对评测优化的模型方永远处于劣势，因为评测方总能持续推出更新的任务，「你们永远追不上我们」。cHHillee 转发了这条表态。这一言论涉及模型评测行业如何应对 benchmark 过拟合的争论。
「模型」频道最新
- 腾讯混元论文现名场面：Codex 疑似自行驳回作者夸大结论 — CSProfKGD · 2026-10-30
- Liquid AI 发布 LFM3 六模型家族，1.7B 端侧实测 185 tokens/秒 — JosephJacks_ · 2026-10-30
- Irregular 研究称 GLM-5.3 完成 3/13 多阶段网络攻击场景，为开源权重模型最强 — cyb3rops · 2026-10-30
- Meta 开放 816B 参数 Muse Spark Open：42B 激活、1M 上下文 — AIatMeta · 2026-10-30
- 用 Claude 跑 SEC 数据检索评测竟触发内容过滤器 — xeophon · 2026-10-30
- Claude Duet 实测：3 张照片生成厨房改造 3D 模型，还能查亚马逊订单 — mallow610 · 2026-10-30