rankECE:用相邻排序比较替代分箱,更可靠地度量模型校准误差
_onionesque · x · 2026-09-14
作者在 arXiv 垃圾论文泛滥中筛出一篇佳作:Anirban Chatterjee 与 Rina Foygel Barber 的《A Ranking Approach for Measuring Calibration》。论文指出常用的期望校准误差 ECE 在无假设设定下无法被保证精度地估计,提出基于比较预测概率相邻点的 rankECE 替代指标;理论保证与实验显示 rankECE 比常用的分箱近似更接近真实 ECE。
「研究」频道最新
- 一个 Prompt 搞定机器人复现评测,Nautilus 开源智能体框架引质疑 — GeorgiaChal · 2026-09-14
- Feyospace-v1:小团队用数据中心化框架训练出顶级开源网络攻防 Agent — feyospace · 2026-09-14
- EMNLP 2026 论文 PingPong:现役大模型仍搞不定自然语码转换 — ponguru · 2026-09-14
- 零训练换预训练目标:实体替换误判率从 46% 降到 5% — Reasonable_Royal_621 · 2026-09-14
- LeanDB:用Lean类型系统为SQL数据库加上形式化验证前端 — hargup13 · 2026-09-14
- DeepMind 发文回顾 15 年 AI 游戏研究,联手 EVE 开发商推新玩法 — arnicas · 2026-09-14