只发布与人类多数一致的评分器,Andrew Perrault 谈评测环境构建
arnabdotorg · x · 2026-10-15
Andrew Perrault 介绍其团队为评测任务构建程序化评分器（programmatic scorers）的做法。由于人类在这些任务上本身就存在明显分歧，团队只在评分器与测试中的人类多数判断高度一致时才对外发布对应的环境与评分器，以保证评测结果的可靠性。
「研究」频道最新
- 数学家盛赞「OAI 证明」:无 Siegel 零点证明讲解文档上线 — basedjensen · 2026-10-15
- 测试集污染研究被 NeurIPS 拒稿:一条副本即可让模型「低于不可约误差」 — RylanSchaeffer · 2026-10-15
- Ofir Press 团队开源多模态编码评测基准,探索能力边界前沿 — OfirPress · 2026-10-15
- AdaBoost 作者 Schapire 在 UW 麦迪逊分享「无穷远处凸分析」新书草稿 — prof_kamilov · 2026-10-15
- Rhoda 机器人蒙眼触觉取物:新传感器可感知压力、纹理与温度 — DhruvBatra_ · 2026-10-15
- Prime Intellect 开源 AnomalyXL，4B 小模型长时序异常定位达 SoTA — HankYeomans · 2026-10-15