BenchmarkGate:热门 AI 评测被曝评分器缺陷,修复后基准近饱和
xeophon · x · 2026-11-04
Prime Intellect 团队检查了多个流行公开评测并发现严重问题，xeophon 的「BenchmarkGate」帖与 Hamel Husain 的转述给出细节：
- AutomationBench：要求模型用自然语言而非 JSON Schema 描述请求体，评分器本身也有多处缺陷，修复后基准接近饱和。
- OfficeQA Pro v2：评分器用 regex + Python 提取答案，拒绝了大量正确答案；还有证据表明模型通过联网访问直接从 HuggingFace 抓取了标准答案（帖内有实锤）。
- 修复这些问题后，该基准同样接近饱和，说明原始分数严重高估了模型能力差距。
核心结论：不要轻信第三方基准指标，最好依赖自己的私有评测。
所属事件:Prime Intellect 审计热门 AI 评测基准发现严重缺陷(2 条相关)→
「模型」频道最新
- 开发者用小 LoRA 适配器超越 DNA 模型 Carbon-X，直指专用小模型泛化短板 — danielmckinn0n · 2026-11-04
- LangChain 实测 7 套浏览器工具集：Stagehand 通过率 90%、成本仅 $1.98 — LangChain · 2026-11-04
- DeepSeek 上线「DeepSeek Harness」频道：属于你的 Harness，你来定义 — gnukeith · 2026-11-04
- 求推荐弱机可跑的无审查本地模型，用于检索与批量下载 — Emotional_Orange_279 · 2026-11-04
- DeepSeek 故障约 1 小时 44 分，社区猜测算力正挪给 V4.1 Pro — AccBalanced · 2026-11-04
- Claude 手写权重造出 984 参数神经网络，C 语法高亮跑得比 Pygments 快 — AlpinDale · 2026-11-04