三模型互辩投票项目 Chat Brawlers：作者反思辩论停止规则设计

lluisantoni · reddit · 2026-10-28

开发者 lluisantoni 分享其副项目 Chat Brawlers：让三个模型独立作答后互相阅读、辩论并投票。他复盘了一个设计错误——最初把「答案一致」和「谁答得最好」的共识混为一谈：若三个模型给出相同答案但各投自己一票，投票会打成平局，辩论却已无事可辩。

改进方案是：每轮辩论后由一个独立 judge 对比各模型的结论，若实质相同即可终止辩论（票数仍保留可见）。他也指出新权衡：judge 可能忽略关键条件（「用 Postgres」和「除非 X 否则用 Postgres」并不等价），且三方一致也无法排除共同的事实错误。目前仅用脚本化转录验证了控制流的停止行为，尚未验证辩论能否提升真实准确率。