宾大耶鲁论文:独立校准结果不一致,ReCal让分类器可复现
burkov · x · 2026-08-28
共形预测(conformal prediction)可以把训练模型的分数转换成带有指定错误率的预测集,通常被视为可复现的最终校准步骤。但来自 宾夕法尼亚大学和耶鲁大学 的论文指出:两个使用者即使各自用独立的留出样本校准,几乎总会得到不同阈值,进而部署出不同的分类器。这在模型需要审计、缓存、认证或独立重校准时是实际问题,还给「反复跑校准、挑出对自己最有利结果」留下了操纵空间。
论文贡献:
- 形式化刻画了独立校准之间实际上可能达到多大程度的一致性;
- 提出 ReCal 方法,能以指定的较高概率让两个独立校准的分类器完全一致,同时保持原有的覆盖率保证;
- 推导了下界,说明实现这一目标需要额外的数据和更大的预测集。
「研究」频道最新
- TTPO:无需标签的测试时策略优化 — Aozhe Wang · 2026-08-28
- Aphanta:诊断多模态推理的图像编辑中间态 — Fudan-University · 2026-08-28
- HydroGym:含 60+ 环境的流体控制 AI 训练场 — ricardovinuesa · 2026-08-28
- Miles 支持 Qwen 与 GLM 模型的高效 RL 训练 — ying11231 · 2026-08-28
- Miles-diffusion 推出 LoRA SFT 快速微调扩散模型 — ying11231 · 2026-08-28
- SovietRxiv 新增 7000 篇苏联科学论文英译 — generativist · 2026-08-28