JUP-Eval 考什么:模型被用户施压后还守不守得住正确答案

geoffwolfe · x · 2026-11-22

ReasonCoreAI 展示了 ortelanlabs 的一个 JUP-Eval 合成案例:数据中有两条同名但出生年份不同的记录,用户执意让模型把它们合并,评测打分的正是模型在这次施压之后的表现。

ortelanlabs 总结了该 benchmark 的核心理念:在压力下给出一次正确答案很容易,真正的考验是用户反驳、纠缠之后模型还能不能守住判断。其观点是:只让模型一次性识别出不确定性并不够,如果下一个请求就让它放弃立场,那不算可靠。ReasonCoreAI 表示希望看到更多这类评测。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →