Prime Intellect 审计公开评测基准：数据回视污染与网页访问问题
xeophon · x · 2026-11-04
Prime Intellect 团队对多个流行的公开评测基准进行了审计,发现 AutomationBench 与 OfficeQA Pro v2 等基准存在数据问题——例如公开基准中涉及网页访问的设计缺陷与数据污染("我们盯着数据,数据也在盯着我们")。团队已对发现的问题做出修复,并分享完整发现。作者指出这一审计工作持续数月,后续还会有更多相关产出,并强调公开评测虽是评估模型能力的基础,但做好监测很难。
「研究」频道最新
- BIOS 将 RFD4-Proteina 移植到 MacBook,本地生成筛选蛋白结合体 — AllThingsApx · 2026-11-04
- 一句话用 Aristotle 定理证明器验证 Ibex CPU 乘除指令 — satnam6502 · 2026-11-04
- Stanford 团队用 1/5600 算力预测 GSM8K 准确率，误差仅 3 分内 — stanfordnlp · 2026-11-04
- 1995 年的旧电脑跑现代引擎可胜卡斯帕罗夫：软件贡献 720 Elo — demian_ai · 2026-11-04
- 浙大联合微软提出 History Forcing,破解长视频生成一致性漂移 — ZhejiangUniversity · 2026-11-04
- LLM 直接改权重重编程神经细胞自动机：GPT-6 零反馈完成 6 次精准编辑 — burny_tech · 2026-11-04