Chollet 谈泛化与鲁棒：GSM1k 复测揭基准污染

François Chollet 发推类比称，进化从不「极限刷榜」，而是优化泛化性与鲁棒性，因为过度特化会让物种在环境变化时变得脆弱。这一观点在评测层面得到印证：Scale AI 从零重建 GSM8K 得到的 GSM1k 复测显示存在基准污染，部分模型成绩下滑达 8 分。作者据此提醒，企业部署 Agent 时应在真实数据上评测，避免被刷榜式的过度特化误导。

2026-11-02 ~ 2026-11-02 · 2 条相关