交换 A/B 位置即可零标注检测 LLM 裁判的位置偏见
Beneficial_Use2116 · reddit · 2026-10-11
作者提出一个无需任何标准答案的 LLM 裁判偏见检测法:把「Response A」和「Response B」互换后重新让裁判评分,正确裁判应给出同样结论,若翻转即自相矛盾。
在 21 个两两对比案例加对照组、两个模型上的实测:
- 事实性问题和胜负分明的一对:Haiku 与 Sonnet 均 0 次翻转;
- 真正接近的比较:Haiku 翻转 6/21,Sonnet 3–5/21(不同运行间波动);
- 对照组为 0 说明接近案例的翻转确实是位置偏见而非随机;
- 比率噪声较大,n=21 不足以给模型排名,这是一个检测器与警示而非精确数字。
修法:对两种顺序取平均(排序多于 2 个时轮换位置),换更大模型并不能自动解决。作者将记录工具打包为 pip install wobbly(judgebias()),约 40 行即可自行脚本化。
「编程与Agent」频道最新
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23
- 实测 12 个 AI 分类器后,作者直言「分类器新热是cosplay」 — KlausCodes · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Agent 调试新玩法:把 agent 指向 AgentsView CLI 让它自己查 trace 找病因 — dbreunig · 2026-10-23
- YC 系 Mireye 推出土地数据 API+MCP，覆盖 1.6 亿地块 — ycombinator · 2026-10-23