单轮评测掩盖真实短板
bindureddy · x · 2026-07-09
帖子指出，目前很多 benchmark 的致命问题在于只看单轮对话，而现实世界任务往往是长时间运行的 agent 循环。作者认为，很多廉价模型在这种真实场景里会失败。 这条信息的核心是评测方式与真实应用之间的落差，强调应当用更接近实际任务形态的方式来衡量模型。
bindureddy · x · 2026-07-09
帖子指出，目前很多 benchmark 的致命问题在于只看单轮对话，而现实世界任务往往是长时间运行的 agent 循环。作者认为，很多廉价模型在这种真实场景里会失败。 这条信息的核心是评测方式与真实应用之间的落差，强调应当用更接近实际任务形态的方式来衡量模型。