HF 研究员主张用效率增益指标取代最终 benchmark 分数
eliebakouch · x · 2026-11-12
Hugging Face 研究员 Elie Bakrouch 在讨论中提出：最终 benchmark 成绩受投入算力等多种因素偏置，单看最终分数无法公平量化进展；他认为应该报告「效率增益（efficiency gain）」类指标而不是最终跑分，这样量化进展会更清晰。他还提到相关玩家「已经在奔月」的乐观判断。
所属事件:研究者争论 AI 进展度量：应报效率增益而非最终跑分(4 条相关)→
「模型」频道最新
- Claude 疑似真能「听」视频发音，创作者实测发现反常识能力 — RileyRalmuto · 2026-11-12
- 资深研究者抱怨 Claude 安全拦截过严:基础生化工作也触发回退 — rbhar90 · 2026-11-12
- Hugging Face 三大消融团队放量大批 Qwen 无审查模型,按显存对号入座 — udmrzn · 2026-11-12
- Reddit 用户爆料：Qwen 4 Max 输出介于 Kimi 3.1 Pro 与 DeepSeek 之间 — power97992 · 2026-11-12
- a16z 合伙人 Casado 力挺:谷歌 Carbon 写代码「真的很强」 — xennygrimmato_ · 2026-11-12
- OpenRouter 上线 Extractions API:描述字段即从文本/图片/PDF 抽取结构化 JSON — michellechen · 2026-11-12