TasteBench 用持续更新的样本外任务测模型「研究品味」
marktenenholtz · x · 2026-10-20
TasteBench 是一个衡量模型「研究品味」（Research Taste）的新基准：现有基准数据集有限、评测数据最终会混入训练集，TasteBench 则在模型从未训练过的样本外（OOS）数据上持续生成新的 ML 任务。
Mark Tenenholtz 一句话剧透：首个任务是用 2024 年后的 holdout 数据做加密货币预测——即预测真正未知的未来行情。
「研究」频道最新
- 无奖励无预训练,C-Slerp 从零学会五方块堆叠等长程任务 — ben_eysenbach · 2026-10-20
- reuF2F 基准：244 道 REU 数学开放题,最强模型也只解出 109 道 — wellecks · 2026-10-20
- 学者痛斥 AI 垃圾论文:审稿应直接因不可读而拒稿 — dhadfieldmenell · 2026-10-20
- 四位研究者联合招收 NLP/AI 方向博士研究生 — najoungkim · 2026-10-20
- Kominers 把 Landau–Siegel 零点排除的行列式论证推广到有限 Galois 扩张 — soumitrashukla9 · 2026-10-20
- Rutgers 与 IBM 用中途测量反馈引导 100 量子比特走向有序态 — Brighter-Side-News · 2026-10-20