Chollet:基准分数须带成本才有意义
fchollet · x · 2026-07-07
Keras 作者 François Chollet 认为,如今只报告模型在基准上的单一标量分数(如「XYZ 上 75%」)已毫无意义。他主张评测结果必须同时报告效率分数,例如「每个任务成本 10 美元时达到 75%」,否则无法反映模型的真实价值。
所属事件:Chollet呼吁AI评测必须引入边际成本(2 条相关)→
「研究」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准:不打标准答案,专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚,一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11