Hamel Husain:「BenchGate」普遍存在,公开基准失败样本令人震惊
HamelHusain · x · 2026-10-21
知名 AI 工程师 Hamel Husain 提醒，「BenchGate」（公开基准测试数据质量问题）依然存在且非常普遍。他建议随便挑几个公开基准中失败测试的 trace 看看，「你会震惊的」。转引的推文提供了一个浏览 MMLU 数据的方式，让人直观看到我们究竟在用什么来评测 LLM——作者怀疑，如果 MMLU 的真实内容被更广泛地知晓，大家不会为了榜单上 1% 的差距争得头破血流。
「研究」频道最新
- 特伦托大学提出 Painting Change Map：可控生成绘画过程视频 — MHUGLab · 2026-10-21
- NUS 等提出 CoEvo-RSI：解决自进化智能体的脑体失配问题 — Jiaqi Su · 2026-10-21
- 上交大发布 Specter：量化+多步投机卸载加速单卡 MoE 推理 — Wenfeng Wang · 2026-10-21
- 通用 VLM 兼任多模态重排器：单次选择题即可匹敌专用 reranker — Zhuchenyang Liu · 2026-10-21
- 开源 PokeBench：模型真打宝可梦红，一个打进四天王 — afk-sapien · 2026-10-21
- AI 读懂植物电信号:Electric Plant 发布基础模型 Bombadil — Scobleizer · 2026-10-21