AutoRubric 1.7.0 支持按 rubric 评图,prompt 缓存降本约四分之一
deliprao · x · 2026-11-11
Delip Rao 发布 AutoRubric 1.7.0,并在新上线的博客中详解新特性:
- 图像输入:submission 可包含图片,rubric 能针对图表、截图、扫描页打分(如检查图表坐标轴是否带单位),LLM judge 与决策模型均可评分,数据集文件支持存储图片。
- 降本技巧:将逐条 criterion 的 prompt 重排,使各厂商的 prompt cache 能在同一个 item 的多次调用间复用 submission;实测三家 judge 中两家的逐条评分成本下降近四分之一。
- 其他改进:meta-judge 被告知自己读的是 rubric;judge 配置错误(包括欠费)现在会报错而非静默弃权。
文中用 Alice 与 Bob 两位学生画同一图表的例子演示 rubric 判分逻辑。安装:pip install -U autorubric。
「编程与Agent」频道最新
- Claude Code 网页搜索内置分类器,会拒绝搜它认为你该知道的事 — NathanpmYoung · 2026-11-11
- LangChain 发起年度 Agent 工程现状调查,成本成焦点选项 — hwchase17 · 2026-11-11
- RX 6800 跑 ComfyUI 快 3 倍:启用被静默关闭的 INT8 计算 — TheCat001 · 2026-11-11
- 用 Claude 复刻爆款健身视频公式:每条 400 万播放的可复制打法 — aigleeson · 2026-11-11
- 曝 Cursor 将推多人协作模式,团队与 Agent 共用统一工作区 — testingcatalog · 2026-11-11
- 谷歌 CodeMender 进 PR:一条 /fix 评论自动修复漏洞代码 — rseroter · 2026-11-11