n8n 搭建跨厂商双评审 LLM-as-Judge 评估流水线
ZtasnimS75 · reddit · 2026-11-19
作者在 n8n 中构建了一条 LLM-as-Judge 评估流水线,核心思路是用两家不同提供商的独立评审模型打分,避免同家族模型的自偏好,并把评审分歧本身作为可靠性指标。
设计
- 测试集:5 道题(事实/数学/技术/推理),各带参考答案与人工评分
- 候选模型:Groq 上的 gpt-oss-20b 与 gpt-oss-120b 分开跑
- 评审 A:Gemini 3.5 Flash Lite;评审 B:OpenRouter 免费的 Nemotron 3.5 Lightning,均按 1-5 打分且与候选不同家族
- 代码内计算:评审均分、与人工分绝对误差、通过线(≥4)、与人工一致(±1 分内)、评审分歧(≥2 分)
- 结果推送 Slack 和邮件,数据存 Postgres(Supabase)
局限:5 题只是演示,统计意义不足;人工标签需替换为自己的;评审无法返回合法 JSON 时记 1 分可能低估候选。工作流 JSON 和建表 SQL 已开源,作者征询是否加第三评审或平票规则。
「编程与Agent」频道最新
- 用 Claude 和即梦 CLI 制作 6 分 46 秒哈勃纪录短片 — xiaohu · 2026-11-19
- Every 复盘 Claude Fable 5.2 实战:AI 时代起点的人类思考更值钱 — every · 2026-11-19
- 138 组问题实测:语义缓存余弦阈值不可靠,加廉价模型复核零出错 — Narrow_Side_7778 · 2026-11-19
- 3D 动捕动画想用 ComfyUI 做动作修复,可行吗 — _Tito5_ · 2026-11-19
- 实验室开源 Mycelium:让分析项目知识沉淀进"活数据集",约束 agent 失控行为 — arjunrajlab · 2026-11-19
- harness-hub 开源 RL 训练的 harness 适配器:同一模型为不同 agent 框架单独调优 — yb2698 · 2026-11-19