CertJudge用一次校准复用评估
sanmikoyejo · x · 2026-07-12
概述提到：LLM judge 现在被用来给 AI 生成的 Lean 4 定理 打分，但问题在于“谁来评判 judge 本身”。每次更换 judge、prompt 或阈值，通常都需要重新做一次人工研究。CertJudge 的目标是用一次小规模校准，去复用到后续所有 judge 评估中，文中给出的相关性约为 ρ=0.833。
所属事件:CertJudge探索大模型裁判校准复用(3 条相关)→
「研究」频道最新
- CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27
- arXiv 编辑提醒：勿直接提交未润色的 LLM 生成论文 — tdietterich · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27
- 72 张实拍图训练 MOSS 锐度滑块 LoRA,权重 1 到 -1 调焦 — aoleg77 · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27