OpenAI 新模型隐藏了 logprobs,可用于 LLM 评测
Main-Fisherman-2075 · reddit · 2026-07-07
作者发现 OpenAI 最新模型没有直接暴露 logprobs(模型对每个下一个词的真实概率)。他用"strawberry 里有几个 R"测试三款模型,模型自报 100% 确定但实际只有一款答对。作者指出,把 logprobs 引入 LLM 评测会很有价值:让模型打分时,真实输出是一个分布(如 1:10%、2:20%…5:20%)而非单个数字,究竟取均值还是取最大值值得深入思考。