加 LLM 裁判自纠错反而掉点：抽取一致性从 85% 跌至 62%
RoadkiLLer_31 · reddit · 2026-08-22
在结构化数据抽取任务上，作者实测发现引入 LLM-as-a-judge 自纠错循环反而降低可靠性：独立抽取一致性约 85%，加上校验/重试循环后跌到 62% 以下。
- 设置：GPT-5.4 分别作为抽取器和裁判；默认超参下一致性不足 35%，显式锁定 temperature=0、reasoningeffort="none" 后稳定到 85%。
- 退化原因：一是裁判评估的微小方差触发严格二元校验门，导致不必要的重跑（噪声复利）；二是把错误列表回喂给抽取模型重新生成整个 JSON，会改变 token 分布，把原本正确的字段也改错（重生成漂移）。
作者向社区求问：生产系统如何避免 prompt 漂移与误差累积——字段级 diff/patch 或确定性规则门是否比让 LLM 整体重写更可靠？
「编程与Agent」频道最新
- YC F26 项目 Praxis 发布：AI Agent 包办律所 62% 非计费行政工作 — ycombinator · 2026-10-16
- Codex 一年逆袭：周用户超 4000 万，负责人执掌 OpenAI 全部核心产品 — danshipper · 2026-10-16
- 开发者让多个 agent 互发消息协作,还加上了消息撤回功能 — baditaflorin · 2026-10-16
- 深度复盘：Codex 如何从失败产品逆袭成吞噬 ChatGPT 的核心 — danshipper · 2026-10-16
- 开发者用 Siri 截图+快捷指令打造 iOS 全自动 agent「dots」 — nickbaumann_ · 2026-10-16
- 在 Flutter 项目里用决策模型：widget 树本就是一列选项 — rseroter · 2026-10-16