Shahul：基准饱和可预测，OTS 数据正围标注基准刷分
Shahules786 · x · 2026-09-07
Shahul 认为 近期基准饱和是可预测的结果：一旦某个评测被广泛采用，围绕它制作现成（OTS）训练数据就比跨新领域×能力维度构建新基准更容易卖，于是基准被数据「围猎」而失效。
他举例 Terminal-Bench 和 ARC 类数据已经出现这种现象，并抛出问题：下一个会轮到谁？
「研究」频道最新
- AI 加速制药不够:研究者称慢性病治疗范式本身需要颠覆 — DrMorganLevine · 2026-09-07
- KL 散度何时对称?柯西分布有闭式解,指数族仅限同协方差正态 — FrnkNlsn · 2026-09-07
- 开源 MathKernel MCP：160+ 数学工具给结果打信任标签，拒绝伪装证明 — Staatsgeheim_ · 2026-09-07
- DNSPIR 发布：用隐私信息检索保护 DNS 查询隐私 — jedisct1 · 2026-09-07
- QuixiAI 发布 QuixiMath-1B：带结构化解题步骤的数学推理数据集 — QuixiAI · 2026-09-07
- kalomaze 提出迁移学习新概念模型：跨域技能组合是泛化关键 — kalomaze · 2026-09-07