模型算出 32-34 度被判 0.26 分:评错的可能不是 AI 而是评分器

shoumikgoswami · reddit · 2026-11-18

Vedant Patel 让 Claude Opus 5.5 用原始数据复现一篇古地磁学论文的分析,模型估出 32-34 度的磁场散射角,论文报告 37.5 度,评分器只给了 0.26 分。但他用论文中其他已发表方法重算,得到 32.3-37.5 度的区间;换成以论文作者拟合构建的区间作参考,模型不变的答案得分升到 0.50-0.73。Patel 认为评分器要为大部分「表面失败」负责,不过模型也确有真实错误,比如保留了作者标记为坏样本的数据点。对 eval 构建者的启示:检查参考答案是否是唯一可接受答案,并检查中间过程——看似合理的最终数字可能掩盖错误,严格的评分器也可能拒绝合理答案。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →