两个 AI 评委给同一批模型打分差 28 分,LLM-as-judge 可靠性遭质疑
TibboPlayz · reddit · 2026-10-21
作者用一个真实商业任务做横评:把 4 封英国供应商邮件线索转成台账 JSON,含部分退货、中途汇率变化、VAT 免税许可费,页脚还藏了一条 prompt injection。Grok 4.7 与 Claude Haiku 5.5 盲评,结果分歧巨大:
- GPT-6 Sol 平均 86 分(7.9s,$0.0100)、Claude Sonnet 5.5 与 Gemini 4 Argon 均 84 分;DeepSeek V4.1 Flash 把 8k token 预算全部耗在隐藏推理上未能作答($0.0015,77.5s)
- 三个完成的模型都算对了最终总额、并忽略了页脚注入的 £500 附加费,但每行的 VAT 都算错
- 评委分歧严重:Grok 给 Claude 98 分,Haiku 只给 70 分,更偏好 GPT-6 Sol
作者自述这是其副业评测项目的一部分,强调单任务单次运行只是数据点而非结论,想讨论评委分歧时的处理方式:取平均、加仲裁评委,还是对照人工答案。
「模型」频道最新
- GPT-4o/4.1 将于 1 月 14 日下线，团队实测 Luna 系列平替任务级差异 — max_gladysh · 2026-10-21
- NVIDIA Nemotron Retriever 系列模型上线 Baseten — baseten · 2026-10-21
- iPhone 跑 35B MoE 达 20.5 tok/s：LES 调度不跳过任何专家 — GasSmooth7439 · 2026-10-21
- ICA Lens 实战：Qwen 残差分解后，城市与法国特征清晰可读 — furongh · 2026-10-21
- 200 美元订阅抵 655 美元 API：Claude Code 与 Codex 订阅性价比惊人 — umeshonai · 2026-10-21
- NVIDIA Kumo 预测：预训练时序表示+历史模式检索，可解释输出 — Hugging Face Blog · 2026-10-21