n8n 搭建双裁判 LLM 评测流水线:跨厂商打分防自偏好
ZtasnimS75 · reddit · 2026-11-19
一位开发者用 n8n 搭建并开源了一套「用其他 LLM 当独立裁判」的模型评测工作流:
- 准备 5 道带参考答案和人工评分的测试题;
- 候选模型(gpt-oss-20b 与 gpt-oss-120b,经 Groq 分别跑)作答;
- 两位来自不同厂商的裁判(Gemini Flash Lite 与 Nemotron Lightning,走 OpenRouter 免费额度)按 1-5 分对照参考答案打分;
- 代码计算通过率、裁判-人工一致度、平均绝对误差与裁判分歧;
- 结果推送到 Slack、邮件和 Postgres。
设计要点:裁判都不是候选模型本身,避免自偏好;两裁判分差 ≥2 会作为指标显式暴露。作者也坦承 5 题只是 demo,真正的评测需要更大的标注集。工作流 JSON、配置和建表 SQL 均在 GitHub。
所属事件:开发者开源n8n双裁判LLM评测流水线防自偏好(2 条相关)→
「编程与Agent」频道最新
- Agent 原型易做产品难:多租户隔离与合规才是真门槛 — Franc0Fernand0 · 2026-11-19
- Deepnote 重建数据应用:可用 Codex、Claude 构建 — alex_verem · 2026-11-19
- NDepend 开源 C# 版 MCP Server,并附万字实战教程与 35 分钟视频 — adnan_hashmi · 2026-11-19
- Creator Studio 上架 App Store:内置助手+MCP 开源 Keynote 格式 — jasonwuishere · 2026-11-19
- Vercel 开源 agent-desktop:无需截图,Claude 经无障碍树直接操控 Mac 原生应用 — Arindam_1729 · 2026-11-19
- Anthropic 发布 33 页免费指南:把重复 Prompt 变成可复用 Claude Skill — aftahi_ai · 2026-11-19