开源 rubrify 编排评估 rubric，作者指其抽象与 typesafeai Jev 高度相似
secemp9 · x · 2026-09-21
开发者 secemp9 发现 typesafeai 的产品 Jev 使用了与其 8 个月前开源的 autorubric 高度相似的抽象——Jev 的 Noul/Score/Choice 准则类型与 autorubric 的 criterion 类型一一对应，而 autorubric 将在下月的 COLM 会议上展示。他随后放出了独立从第一性原理重写的实现 rubrify。
rubrify 是一个 LLM 评估的 rubric 编译器与裁判引擎：
- 用带类型的 Python 对象定义结构化评估 rubric，编译为不可变 bundle
- 逐条准则（criterion-by-criterion）运行 LLM 判断
- 支持 GEPA 反思式提示优化，基于人工标注数据集进化 rubric
- 基于 harnai 多厂商 LLM 接入（OpenAI、Anthropic、DeepSeek、Google、本地代理），pip install rubrify 即装，进化功能需 rubrify[evolve]
所属事件:Jev 被指与 8 个月前 AutoRubric 论文评测抽象几乎一一对应(7 条相关)→
「编程与Agent」频道最新
- Cloudflare 推出 agent 运行时：智能体需要的是计算机而非容器 — irvinebroque · 2026-11-12
- ComfyUI 技巧:用分层 PNG 画 inpaint 蒙版反复复用 — Deftroyy · 2026-11-12
- 开发者 vibe coding 浏览器版 PUBG:100 人吃鸡跑通核心玩法 — TAbrodi · 2026-11-12
- Hudson Golino 开设 3 天直播课：用 R 构建 LLM 研究 Agent — GolinoHudson · 2026-11-12
- LangChain 首日适配 Google 新 Decisions API — Hacubu · 2026-11-12
- 在 Claude 里调 Runway Fable 5.2：从想法到可吹的电子长笛 — tlakomy · 2026-11-12