LLM评测工具AutoRubric入选COLM 2026：把量表科学引入LLM-as-a-Judge
deliprao · x · 2026-09-21
Delip Rao 转介的 AutoRubric 项目被 COLM 2026 接收。它把量表（rubric）科学的最佳实践与 LLM-as-a-Judge 研究结合，用于非可验证领域的结构化评测：既可评估 LLM 生成内容，也可用 LLM 给人工内容打分。
- 做法：定义带权重的评测标准（含扣分项，如「错误声称 LFP 能量密度更高则 -15 分」），对照人类标注校验并迭代 rubric，内置 meta-evaluation。
- 示例：给出了用 CriterionGrader 评比较 NMC 与 LFP 电池正极材料答案的完整 Python 代码，模型用 openai/gpt-5.1-mini。
- 提供开源库 autorubric、Cookbook 与研究文档，团队将在 COLM 2026 旧金山现场展示。
所属事件:Jev 被指与 8 个月前 AutoRubric 论文评测抽象几乎一一对应(7 条相关)→
「编程与Agent」频道最新
- Monid 推出 Agent Hunt 榜单:按真实调用量排 agent 工具人气 — socialwithaayan · 2026-11-12
- 四步设置避免 Fable 5.2 快速烧光每周额度 — dr_cintas · 2026-11-12
- Cloudflare 推出 agent 运行时：智能体需要的是计算机而非容器 — irvinebroque · 2026-11-12
- ComfyUI 技巧:用分层 PNG 画 inpaint 蒙版反复复用 — Deftroyy · 2026-11-12
- 开发者 vibe coding 浏览器版 PUBG:100 人吃鸡跑通核心玩法 — TAbrodi · 2026-11-12
- Hudson Golino 开设 3 天直播课：用 R 构建 LLM 研究 Agent — GolinoHudson · 2026-11-12