AIFlow 批评主流评测:四任务单次运行无误差线只是“带 logo 的氛围测试”
AIFlow_ML · x · 2026-11-20
AIFlowML 在 X 上讽刺当前一些模型评测的做法:只跑四个任务、每个任务只运行一次、没有误差线(error bars),这样的结果统计上毫无说服力,“不过是带个 logo 的氛围检查(vibe check)”。这是对 AI 圈常见评测方法学(样本量过小、缺乏可复现性)的批评性观点,回应另一位博主的评测内容。
「模型」频道最新
- GPT-Live-1.1 实测:语音接线员可约号、续药、紧急转人工 — amos_gyamfi · 2026-11-20
- 爆料:X 拟推黑五 Premium 折扣,捆绑 Grok 与 Cursor 权益 — nima_owji · 2026-11-20
- Inkling Small 2 评测:97% 主动提及不确定性,不做因果暗示 — keirp1 · 2026-11-20
- AI 日报:Anthropic 上市首日涨 17%,Genie 4 开放开发者 — testingcatalog · 2026-11-20
- SenseNova-Loop 9B 在 8GB 显存跑通,推理 token 省一半 — R_Duncan · 2026-11-20
- DeepSeek 招聘 JD 直言 10 万卡集群运维难题,传 V5 将用昇腾 950 训练 — teortaxesTex · 2026-11-20