Snorkel 发布 RIFT 框架:体检 5 大公开基准的评分 rubric 质量
ajratner · x · 2026-11-18
Snorkel AI 将于 12 月 15 日举办 Data Deep Dive 线上讲座,高级研究科学家 Ankit Aich 介绍 RIFT(RubrIc Failure mode Taxonomy)框架——专门审查用于评分和训练 AI 的 rubric 本身:
- rubric 为模型/agent 输出打分并提供训练 reward 信号,但其质量很少被检验,通常靠 judge 与人类一致率或训练增益间接推断,容易把 rubric 和执行它的模型混在一起
- RIFT 从 rubric 内容计算质量信号,并将偏差映射到具名失败模式;在向 60 份专家编写的 rubric 注入缺陷的对照实验中,线性模型和前沿大模型都能据此检测出失败
- 应用于 5 个公开基准(涵盖金融、医疗、软件工程、专业咨询、推理)的 147 个任务,发现大量缺失/错位准则,以及大量可被 hack 和重复的 rubric 条目
讲座含演讲与开放 Q&A,需注册。
「编程与Agent」频道最新
- Manufact 发布周第二弹:推出 MCP analytics 可观测功能 — Shruti_0810 · 2026-11-18
- 自建个人 agent 管理日程,AI 判定「周末是深度工作时段」 — niloofar_mire · 2026-11-18
- OpenAI 打造 Control Room 追踪并紧急叫停所有 Astra 工作负载 — tallmetommy · 2026-11-18
- Capy 推 1 美元起 agent 集群方案:30 万分钟云 VM 附送三个免费用量模型 — g3off_who · 2026-11-18
- n8n 开源个人智能体 Nod 上线,NetBird 出免开端口远程访问教程 — aestheticedwar1 · 2026-11-18
- Modaic 上线:决策模型训练 0.75 美元/百万 token,吞吐 2.69 倍于 vLLM — code_star · 2026-11-18