benchmark "饱和"真相:老基准沦为合成环境饲料而非直接污染
teortaxesTex · x · 2026-09-13
作者对自己此前转发的 DeepSeek V4.1 Flash 污染指控补充更冷静的分析:他同意质疑,但认为"更无聊的现实"不是直接的 benchmark 污染——老 benchmark 会变成合成训练环境的原料,而成熟实验室的评测与环境复杂度早已超过公开 benchmark。作者还在另一条中提到 GLM 5.3 Flash 在 TB 4.0 上碾压 Muse Spark,但因没用过 Spark 而对孰优持不可知态度。
所属事件:DeepSeek V4.1 Flash被指benchmark污染引争议(2 条相关)→
「模型」频道最新
- 「一宕机就进化」:DeepSeek 疑似偷偷升级被鹈鹕图抓包 — teortaxesTex · 2026-10-31
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31