Elie Bakouch 质疑:现有 benchmark 难以真正追踪 RSI 进展
eliebakouch · x · 2026-11-19
NLP 研究者 Elie Bakouch 参与了一场关于 AI 研究 benchmark 的讨论。他指出,这类 benchmark 确实在测量「某种东西」,但并不能恰当反映 AI 研究真正关心的能力——track 1 大概率在性能提升和超参数上都过拟合了。
他的核心观点是:现有 benchmark 远非最难的那一档,如果社区想真正追踪 RSI(递归自我改进)的进展,需要难度高得多的 benchmark 设计。
「研究」频道最新
- Google 提出 GUARD:冻结基座模型让 Agent 自改 harness,准确率提 8.89 分 — omarsar0 · 2026-11-19
- Kezek 开源工具:把单声道双人对话拆成按说话人分轨的全双工数据 — manifestro · 2026-11-19
- Hutter 压缩赛成绩突进约 10%:用小型 Transformer 过拟合数据再算术编码 — ricklamers · 2026-11-19
- 自研 HybridApexW 优化器:比 torch.compile 基线快一倍 — omendUUde · 2026-11-19
- 桑迪亚实验室:电子指纹让 AI 仅用几十个样本预测高熵合金性能 — CurieuxExplorer · 2026-11-19
- FoodTruck Bench 榜单上线 Papers with Code:让 LLM 真金白银经营餐车 30 天 — NielsRogge · 2026-11-19