Surge AI在Kaggle Bench Summit谈基准的未来：更像真实工作

echen · x · 2026-10-28

Surge AI 团队在旧金山 Kaggle Bench Summit 演讲，主题是「当基准越来越像真实工作而非基准时会发生什么」：模糊的 prompt、混乱的环境、以及专业人士每天要做的判断题。

作者 Eric Chen 回顾了 15 年前自己参加 Kaggle 竞赛的经历，感叹 AI 如今在训练模型上已远超自己，并表态自己上不了 Kaggle 排行榜没关系，期待 Surge 的基准能上榜。演讲将分享其构建 DAYJOB、sudo L7、GDP. 等基准的经验，以及前沿模型为何仍在这些真实工作型评测中挣扎。