ProbabilityBench：用精确真值概率评测 16 个模型的不确定性校准
ishidalab · hf · 2026-10-15
ProbabilityBench 提出一个可精确计算真实条件类别概率的评测基准，覆盖同行评审、隐蔽信息传递、信用风险三个模拟文本域。
- 关键思路：显式定义每个环境的完整数据生成过程，从而解析计算出精确类别概率与 Bayes 误差，并证明将其渲染为自然语言备忘录不改变底层概率
- 有了精确真值，可用 KL 散度直接衡量模型输出概率的质量
- 对 16 个模型的评测显示：观测到的成本–质量 Pareto 前沿上大多是「决策模型」，如 Jev 和 Perplexity Decider
- 该基准还可作为元评测框架，检验常见校准指标与 Bayes 误差估计器本身的准确性
「研究」频道最新
- kalomaze：集成合成数据可有效覆盖所谓“缺数据”领域 — kalomaze · 2026-10-15
- Axiom 宣称证明广义拟黎曼猜想，或推导出 VP≠VNP 复杂度结果 — basedjensen · 2026-10-15
- TorchLean 升级：可在 Lean 里编写带形状检查与证明的张量程序 — burny_tech · 2026-10-15
- StreamErase 实现单 GPU 26 FPS 实时视频物体擦除,延迟降至 0.87 秒 — Zhuobai Dong · 2026-10-15
- 华为等提出 SwarmRSI：科学 agent 集群实现递归自我改进 — Qianru Meng · 2026-10-15
- Glance Forcing：单条轨迹蒸馏把视频自回归化成本降上万倍 — Zhuobai Dong · 2026-10-15