模型算出 32-34 度被判 0.26 分:评错的可能不是 AI 而是评分器
shoumikgoswami · reddit · 2026-11-18
Vedant Patel 让 Claude Opus 5.5 用原始数据复现一篇古地磁学论文的分析,模型估出 32-34 度的磁场散射角,论文报告 37.5 度,评分器只给了 0.26 分。但他用论文中其他已发表方法重算,得到 32.3-37.5 度的区间;换成以论文作者拟合构建的区间作参考,模型不变的答案得分升到 0.50-0.73。Patel 认为评分器要为大部分「表面失败」负责,不过模型也确有真实错误,比如保留了作者标记为坏样本的数据点。对 eval 构建者的启示:检查参考答案是否是唯一可接受答案,并检查中间过程——看似合理的最终数字可能掩盖错误,严格的评分器也可能拒绝合理答案。
「模型」频道最新
- 用户实测:DeepSeek 4.1 Flash 便宜到个人使用近乎免费 — rickasaurus · 2026-11-18
- LLM 审稿 50% 意见来自附录,人类仅 8%:AI 爱抠细节 — plopesresearch · 2026-11-18
- 用户弃用 Fable 5.2 回归 Opus 5.5:额度消耗太快扛不住 — scaling01 · 2026-11-18
- AI 布线大突破:Sol6.2 四成成本搞定 PCB layout,逼近人类水平 — yacineMTB · 2026-11-18
- Qwen4-Max 上线 Runware:百万 token 上下文,输入 $1.50/1M — Alibaba_Qwen · 2026-11-18
- 实测 GPT-6.2:Sol 长程金融任务倒退 2.4 分,Astra 升至榜单第二 — gabrielchua · 2026-11-18