Jev 被指与 8 个月前 AutoRubric 论文评测抽象几乎一一对应

9 月 21 日，Delip Rao 发文称，在调查 TypeSafe（@typesafeai）的新产品 Jev 后发现，其评测抽象与他约 8 个月前发布的 AutoRubric 框架高度相似：Jev 的 Noul/Score/Choice 判据类型与 AutoRubric 的 criterion 类型几乎一一对应，而 AutoRubric 论文即将于下月在 COLM 2026 上正式报告。Ian Arawjo 独立调研后得出同样结论，确认两者判据类型存在一一对应关系。截至目前 Jev 一方未公开回应，是否直接借鉴尚无定论。

已确认

• Delip Rao 与 Ian Arawjo 均指出 Jev 的判据抽象（Noul/Score/Choice）与 AutoRubric 的 criterion 类型高度对应
• AutoRubric 论文发布于约 8 个月前，已被 COLM 2026 接收，其仓库与详细技术报告自 2 月起公开；该工作把量表（rubric）科学的最佳实践引入 LLM-as-a-Judge，用于非可验证领域的结构化评测，既可评估 LLM 生成内容，也可用 LLM 作为评测工具
• 另有网友指出一篇 COLM 论文的代码与自己「从第一性原理」独立实现的 rubrify 高度相似，Delip Rao 回应称 autorubric 中许多数据结构确实与 rubrify 相似，但其仓库和技术报告早已公开

尚未确认

• 尚无证据表明 TypeSafe 是否直接借鉴了 AutoRubric；Jev 一方未公开回应

为什么重要

• ShriramKMurthi 提出不同视角：这些判据分类在社科方法学书籍里早已是常见统计类别，并非新发明，他认为 Jev 的真正亮点在于架构差异，提示「抽象相似」是否构成抄袭仍有争议
• 事件触及 LLM-as-a-Judge 领域研究创意被商业产品采用的归属与署名问题，在 COLM 2026 展示前夕发酵，可能影响社区对评测工具可信度的判断

2026-09-21 ~ 2026-09-21 · 7 条相关

• 研究者称 TypeSafe 的 Jev 抽象与其 8 个月前 Autorubric 论文高度相似 — deliprao · 2026-09-21
• 【源头】Jev 被指与 8 个月前论文 autorubric 评测抽象几乎一一对应 — deliprao · 2026-09-21
• 【源头】LLM评测工具AutoRubric入选COLM 2026：把量表科学引入LLM-as-a-Judge — deliprao · 2026-09-21
• 【源头】 autorubric 判据类型与 Jev 的 Noul/Score/Choice 一一对应 — IanArawjo · 2026-09-21
• LLM Judge 圈两大作品撞车：autorubric 与 Jev 判据类型一一对应 — ShriramKMurthi · 2026-09-21
• 开源 rubrify 编排评估 rubric，作者指其抽象与 typesafeai Jev 高度相似 — secemp9 · 2026-09-21
• Delip Rao 回应 COLM 论文代码相似质疑：仓库与技术报告 2 月起公开 — deliprao · 2026-09-21