JUP-Eval 考什么:模型被用户施压后还守不守得住正确答案
geoffwolfe · x · 2026-11-22
ReasonCoreAI 展示了 ortelanlabs 的一个 JUP-Eval 合成案例:数据中有两条同名但出生年份不同的记录,用户执意让模型把它们合并,评测打分的正是模型在这次施压之后的表现。
ortelanlabs 总结了该 benchmark 的核心理念:在压力下给出一次正确答案很容易,真正的考验是用户反驳、纠缠之后模型还能不能守住判断。其观点是:只让模型一次性识别出不确定性并不够,如果下一个请求就让它放弃立场,那不算可靠。ReasonCoreAI 表示希望看到更多这类评测。
「模型」频道最新
- 博主盛赞 GPT-6.2 Sol 效率惊人,Token 用量极低 — mark_k · 2026-11-22
- Yacine 直言 Claude 5.5 表现平平,不如 Neon — yacineMTB · 2026-11-22
- 陈文虎转发「但他们能推理吗?」质问,AI 圈理由论战再起 — WenhuChen · 2026-11-22
- Gemini 4 Neon 罕见病基准 59% 接近 Fable 5.2,更便宜且安全护栏合理 — danielmckinn0n · 2026-11-22
- 特斯拉 AI 负责人:如今方案算力比过去反而更少 — aelluswamy · 2026-11-22
- 网友展示 Gemini 生成代码注释:用「像打开的抽屉」类比贴顶 — AI_Andrew · 2026-11-22