uv 作者回应「基准测试无用论」：造好基准极难但值得

charliermarsh · x · 2026-09-27

Astral 创始人 Charlie Marsh 回应网友质疑：网友指出 OpenAI 前几周还在大肆宣传跑分，如今风向一转又说「基准测试不行」，被解读为利空信号，并质问「你们昨天错还是今天错」。\n\nMarsh 回应称无意否定基准：用现有基准评估模型是公平的（虽然质量参差），但要承认其局限性——他举例 Anthropic 发布 Opus 时也曾表示，基准上 Fable 与 Opus 的差距比实际体感更大。他希望社区能造出更好的基准，因为这既帮助大家训练更好的模型，也帮助理解和衡量模型能力，但这件事做起来极其困难。