用行为检查认证LLM judge

sanmikoyejo · x · 2026-07-12

核心想法是：不要反复重新标注，而是用自动、可证伪的行为检查来“认证” judge。文中列出四类检查：

• P1 Identity
• P2 Bug monotonicity
• P3 Spec monotonicity
• P4 Stability

方法通过对任意 Lean 文件做受控扰动，在不需要金标准标签的前提下验证 judge 是否可靠。

原文链接 →

「研究」频道最新

• FrontierML 榜单：开源与闭源模型在端到端 ML 任务上差距仍大 — scaling01 · 2026-10-27
• Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
• KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
• CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
• NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
• RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27

更多「研究」频道 AI 资讯 →