Elie Bakouch 质疑:现有 benchmark 难以真正追踪 RSI 进展

eliebakouch · x · 2026-11-19

NLP 研究者 Elie Bakouch 参与了一场关于 AI 研究 benchmark 的讨论。他指出,这类 benchmark 确实在测量「某种东西」,但并不能恰当反映 AI 研究真正关心的能力——track 1 大概率在性能提升和超参数上都过拟合了。

他的核心观点是:现有 benchmark 远非最难的那一档,如果社区想真正追踪 RSI(递归自我改进)的进展,需要难度高得多的 benchmark 设计。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →