开发者开源n8n双裁判LLM评测流水线防自偏好

一位开发者用 n8n 搭建并开源了一套 LLM-as-Judge 模型评测流水线,用于客观评估 gpt-oss-20b 等候选模型。核心思路是选用两家不同提供商的模型作为独立裁判进行跨厂商打分,避免同家族模型给自己偏好评判的情况,并将两位评审之间的分歧本身作为评测结果可靠性的指标;流程中准备了带参考答案和人工评分的测试题以保证基准质量。

2026-11-19 ~ 2026-11-19 · 2 条相关