研究者称 TypeSafe 的 Jev 抽象与其 8 个月前 Autorubric 论文高度相似

deliprao · x · 2026-09-21

Delip Rao 发文称,调查 @typesafeai 新产品 Jev 后发现其使用了与他 8 个月前发布的 autorubric 框架极为相似的抽象——后者即将在下月 COLM 会议上正式报告。他指出 Jev 的 Noul/Score/Choice 准则类型与 Autorubric 论文(arXiv:2603.00077)中的 criterion types 一一对应。Autorubric 是一个开源的基于评分准则(rubric)的 LLM 评测统一框架,针对不可程序化验证的任务,提供统一的评测 API,支持混合准则类型的原子化评测、位置偏差等校准、弃权机制与心理测量学诊断,并附带 CHARM-100 聊天机器人评测基准。这篇帖子既是对 LLM-as-judge 评测方法的科普,也暗含对创意归属的质疑。