评测精度存疑:AECI 分数报两位小数,但误差棒达 2-5 分
dfrsrchtwts · x · 2026-09-23
有研究者指出，某些评测报告将 AECI 分数精确到小数点后两位（即 5 位有效数字），但当误差棒（error bars）本身就有 2-5 个 AECI 点时，第 4 甚至第 3 位有效数字都不具意义。这是对当前模型评测呈现方式过度精确、缺乏统计严谨性的批评。
所属事件:评测精度存疑:AECI 分数报两位小数,但误差棒达 2-5 分(2 条相关)→
「研究」频道最新
- LLM 持续学习方法 iSDFT 开源:500+ 实验平衡可塑性与稳定性 — hbouammar · 2026-09-23
- 多项式 Freiman-Ruzsa 定理留下算法难题：如何高效找到子空间 — gautamcgoel · 2026-09-23
- 研究员论证:堆并行 agent 是弱路径,RSI 需要更强 agent — gleech · 2026-09-23
- Courtade–Kumar 猜想获证明:信息论经典问题给出多比特扩展 — abeirami · 2026-09-23
- TimePre 论文登 TMLR:可逆归一化稳住概率时序预测的多假设学习 — _vztu · 2026-09-23
- Agent评测缺的不是榜单 而是可复现的轨迹与日志 — seanwbren · 2026-09-23