Rubricon 论文：自动生成评测 rubric，让今天的 LLM 评得了明天的模型
deliprao · x · 2026-11-07
Canva（jo mulr 团队）等发布新论文 Rubricon，研究如何用测试时计算扩展自动生成 rubric（评分细则），解决一个关键问题：今天的 LLM 能否生成可靠的 rubric 来评估未来更强的模型？
- 动机：自动 rubric 生成可大幅节省专家人力，但已有工作没有评估「rubric 生成器发布之后才出的 LLM」的回答，泛化性存疑。
- 方法：不只依赖 LLM 自我批评，而是把 rubric 的迭代细化建立在「候选 rubric 如何实际给样例回答打分」之上，形成新的生成管线。
- 结果：在 ProfBench、ACE、PRBench、HealthBench 等 5 个多样 benchmark 上与 4 种合成 rubric 方法对比，Rubricon 生成的 rubric 与人类专家打分的一致性（Spearman ρ）稳定最高，多个基准上超过 0.38。
「模型」频道最新
- PostTrainBench：AI 智能体后训练得分半年从 23% 升至 45% — karinanguyen · 2026-11-07
- scaling01:中国模型的「辩解」只是从 Fable 蒸馏罢了 — scaling01 · 2026-11-07
- 准确率/成本帕累托前沿由 DeepSeek 领跑,「而且差距不小」 — casper_hansen_ · 2026-11-07
- ChatGPT SSE 流泄露检索评分：页面分块打分，引用短语值 100 分 — lilyraynyc · 2026-11-07
- 5 万美元实盘对局：AI 交易机器人暂时跑赢 Claude 与 GPT — Mr_Hodlerr · 2026-11-07
- 巴西 Maritaca 发布 S5-nano 4B：自称巴西最佳开源权重模型 — ApprehensiveAd3629 · 2026-11-07