18 个 LLM 法官全票通过竟是 bug：Reddit 帖子曾让 AI 法庭翻盘
RhubarbFlat6247 · reddit · 2026-11-15
一位独立开发者分享了用 LLM 构建「AI 法庭」压测机构决策的两个意外发现：
1. 18 个法官全票一致本身就是 bug——法官们同指令、同模型，太相似。修复方案：
- 每个法官分配不同职责（证据、风险、落地、长期、利益相关方、魔鬼代言人）
- 评委分散到三个 Claude 模型上
- 三分之一评委反向阅读辩论内容
- 无证据的主张不给任何一方计分
修改后判决开始分裂（5-1、2-4、0-6）；投票一致性 0.82 但书面理由相似度仅 0.29——结论相似、路径各异。
2. 一条 Reddit 帖翻转了判决：同一个问题（大学捐赠基金是否配 10% 私人信贷）用英文跑是 5-1 支持，用阿拉伯语跑翻成 0-6 反对。溯源发现一篇 Facebook 帖和一条 Reddit 帖混进了证据。修复：禁止社交媒体作为证据、所有来源标注类型、事实必须附原文引用。修复后阿语结果回到与英文一致。
作者坦承这只是少量会话而非 benchmark，并公开了两份完整决策记录。
「编程与Agent」频道最新
- 开发者:无头浏览器只是过渡,Agent 该优先走 MCP/API 通道 — mobileraj · 2026-11-15
- Kevin Roose 用「Claude 议会」审书稿:揪出人类编辑漏掉的错误 — every · 2026-11-15
- Steve Yegge 三个暴论：给 AI 降速、别买软件工厂、明年 agent 职场大戏 — Steve_Yegge · 2026-11-15
- 独立开发者用 Claude Code 造出免费交互式吉他乐理工具 Fretbot — Jon_Henderson_Music · 2026-11-15
- Claude Code 专用 Database Architect Agent：让 AI 提前做数据库架构设计 — adnan_hashmi · 2026-11-15
- Teknium 转发:Hermes agents 编码效率已远超 Claude Code — Teknium · 2026-11-15