Pleias 团队谈榜单困境:自建内部基准,但无法忽视新手的排行榜依赖

antoine_chaffin · x · 2026-10-13

antoinechaffin(回应关于编码器模型应围绕用例训练的讨论)表示认同:为用户真正关心的任务自建内部基准、重视用户的实际用途,才是模型工作的九成功力;把这件事外包给榜单制定者没有意义。

但他也指出现实困境:新手选模型时仍会看最热门的排行榜,厂商完全无视榜单不是办法。他的策略是:专注已知对用户重要的能力,绝不为了刷榜而牺牲用户体验;同时团队也积极与榜单制定方沟通,提供反馈与评测数据,不是为了偏袒自己,而是贡献有价值的评估信息。