博主指出:多份基准测试的多数错误源自评测本身而非模型
zainhas · x · 2026-09-16
博主 zainhas 评论一份分析,称大量基准测试中出现的「模型错误」其实多数是基准题本身或评分器的错误,而非模型能力问题——「错误来自评测房子内部」。这呼应了社区对 LLM 评测可信度、grader 噪声的持续质疑。
所属事件:耶鲁物理学家重评:前沿模型物理基准已近饱和(6 条相关)→
「模型」频道最新
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02
- Reddit 热帖追问:为何主流 AI 模型集体忽略冰岛女性罢工 — Mathemodel · 2026-11-02