研究者：模型开源程度与 benchmark 饱和无相关性
evijit · x · 2026-10-19
AI 研究者 evijit 在回复中澄清一个常见混淆：benchmark 饱和与数据污染是两回事，不能混为一谈。
他引用自己团队的研究结论：模型的开源程度与 benchmark 饱和并不相关。此外他提到，若评测中使用 judge 模型，还需额外考虑 judge 本身的偏差问题；并指出 DeepMind/OpenMined/AVEEI 的双盲评测项目正在尝试解决类似问题，但其效果尚待观察。
所属事件:AI 基准评测陷饱和与高成本双重困境(3 条相关)→
「研究」频道最新
- 牛津学者论文：归因控制可同解幻觉、对齐与权力集中等 AI 主要风险 — iamtrask · 2026-10-19
- 斯坦福 Memorilla：16 个记忆 token 胜过全上下文，省 108 倍 token — omarsar0 · 2026-10-19
- 《AI 与意识：怀疑论概览》新书电子版限时免费开放 — eschwitz · 2026-10-19
- 手工精选 40 款游戏做 Agent 基准，作者称其为 ARC-AGI-3.5 — scaling01 · 2026-10-19
- LeCun 论战:分布式表征优于祖母细胞,自80年代已是共识 — burny_tech · 2026-10-19
- 研究员 Aran Nayebi 拆解意识研究论文：数据并未排除稳定意识态 — aran_nayebi · 2026-10-19