评测已死？数据厂商可用合成环境刷半私有基准
xeophon · x · 2026-08-19
@xeophon 发表对评测生态的判断：半私有评测（semi-private evals）和带保留集（holdout set）的评测「基本已死」——因为数据厂商可以构建合成环境来针对性爬坡（hillclimb）刷分。他认为未来只剩两种可行路线：完全开源的评测（如 MazeBench）或纯内部评测（如 Cursorbench）。这一观点直指当前 benchmark 被针对性优化的污染问题。
「模型」频道最新
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测：4B 性价比最佳，27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言，入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16