28200 次 LLM 评审实测:别让 Claude Code 替你设计评审标准
dl_weekly · x · 2026-11-19
Towards AI 联合创始人 Louis-François Bouchard 在构建写作基准 ToneBench 时得出核心教训:代码可以全交给 Claude Code/Codex 写,但 LLM judge 的提示词与评分标准绝不能完全放手给 agent。
- ToneBench 让各模型基于同一 1.3-2 万 token 提示(含个人文风指南、叙事指南与真实脚本素材)每题写 5 稿,由 4 个 LLM judge 加代码检查在 9 项加权指标上打分。
- 在 28,200 次评判中,噪声远超预期:同一模型最佳稿可排第 5、平均第 29、最差第 67。
- 作者花 5 个多月、数千美元 API 费用,总结出若干 Claude Code 从未主动建议的关键决策(人工校准、rubric 设计等),并强调人类校准对评分可信度至关重要。
「编程与Agent」频道最新
- 开源 Switch Buddy 让 Claude Code 与 Codex 同屋协作互相评审 — ThePeterMick · 2026-11-19
- Hugging Face 用 RL 适配 Qwen 专供 pi 编码 agent,SWE-bench Pro 成绩翻倍 — victormustar · 2026-11-19
- CodeRabbit 发布 Verify:PR 合并前自动验证功能与关键流程 — EXM7777 · 2026-11-19
- 模糊 UI 设想:让 agent 替你处理不精确的回答 — round · 2026-11-19
- LukeW:设计系统只完成 90%,AI agent 仍需设计反馈闭环 — LukeW · 2026-11-19
- Fable 5.2 独立做出可浏览器试玩的完整游戏 Demo — gorkem · 2026-11-19