新指标 Harmony 揭露平均分掩盖模型性能不均
DanielKhashabi · x · 2026-08-21
Daniel Khashabi 团队提出新指标 "Harmony"，用于衡量模型在基准测试不同子领域间性能分布的均匀性。研究指出，仅依赖平均分具有误导性，因为总成绩可能被特定子领域（如 ARC-Easy 中的生物概念）过度主导。该团队建议在汇报准确率的同时附带 Harmony 分数，以提供更稳健、分布更可靠的性能评估视角。
「研究」频道最新
- 推荐：Transformers 架构最严谨的数学解释之一 — stanfordnlp · 2026-08-21
- BNAIC'26 图学习与推理研讨会征稿 — pbloemesquire · 2026-08-21
- 商汤 SenseNova U1.5 开源：MoT 架构匹敌 Nano Banana 2 — multimodalart · 2026-08-21
- DeepMind 联手游戏工作室探索长期记忆与多智能体经济 — GoogleDeepMind · 2026-08-21
- 极佳视界发布GigaBrain-0.7，首提System-3登顶机器人榜单 — 机器之心 · 2026-08-21
- 线性代数教材出新版，增补反向传播与注意力机制 — prof_g · 2026-08-21