BenchmarkHeaven 推出 Benchmaxxing 分数，量化模型刷榜信号
airesearch12 · x · 2026-10-20
作者讨论「什么样的 benchmark 才是好 benchmark」——关键是不可被刷分（gaming），并提出用 Benchmaxxing 信号检测模型是否被针对公开榜单过度优化：
- 同主题各榜单得分参差（jagged scores）
- 模型在知名公开榜单上的名次明显高于同主题 held-out（未公开）榜单
- 模型在其训练截止之后发布的测试上得分偏低
该信号已集成进 BenchmarkHeaven 的 Benchmaxxing score。配图示例显示某模型信号为 -5.0（无明显刷榜迹象），另一模型信号高达 +12.7（在知名公开榜单上明显偏高，Vision 主题高出 53 个百分位），作者强调这是筛查信号而非泄漏或污染的证据——分差也可能意味着长程 agent 能力弱。
「模型」频道最新
- Ternary Bonsai 2 把 Qwen3.5 VL 压成 -1/0/+1 三值权重，9B 仅 2GB — lmoroney · 2026-10-20
- Cline 实测:MiniMax M3.1 Flash 编码对标 Opus 与 GPT,成本仅约 1/25 — MiniMax_AI · 2026-10-20
- 疑似 Gemini 4 Argon 曝光，Gemini App 与 AI Studio 出现新模型 — Efficient-Break-6333 · 2026-10-20
- Anthropic 安全团队开博客：让 Claude 自评对话安全性，1% 误报率下召回 78% — javirandor · 2026-10-20
- 传 Gemini 4 Argon 正逼近 Opus 5.5,DeepMind 追赶态势引热议 — vedantmisra · 2026-10-20
- 研究者在多项指标上判断 OpenAI 领先 Anthropic 约两个月 — peterwildeford · 2026-10-20