CMU 论文:小模型当 LLM 评审,成本仅最强模型 0.36%
akshay_pachaar · x · 2026-09-27
卡内基梅隆大学的新论文测试了用 Jev 这类小模型替代 LLM-as-judge 做有界判断的可行性。
许多评估只需要有界决策:「答案是否有依据」「是否遵循指令」「哪个回答更好」。论文结果显示:
- 聚焦判断上表现接近:在普通回复偏好、事实依据核查、最终答案检查上,Jev 与被测最强评审的差距在 3 个百分点以内。
- 成本差距巨大:在论文的匹配工作负载下,Jev 的成本仅为最强对比模型的 0.36%。
结论是:小模型评审适合批量筛选大量 agent 回复,再对真正需要更强判断力的少数案例升级到更强模型,从而大幅降低评估成本。
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16