链式管线弃用自由文本改结构化输出,潜伏数月的隐性 bug 消失

ClickOk5811 · reddit · 2026-09-07

一位 Reddit 开发者分享了排查数月的隐性 bug:管线中一次 LLM 调用做分类,返回自由文本类别,下一次调用消费该文本并执行动作。测试全部通过,但生产环境中类别文本因大小写、多余词等微小格式差异,下游调用偶发匹配失败并静默回退到通用行为——两处代码单看都没问题,极难定位。

修复方式是把分类器改用带 enum 的结构化输出,让模型只能返回预定义值,格式差异在结构上不可能再出现,同样的任务和模型,bug 直接消失。作者反思:凡是输出会被另一个 prompt 或代码消费(而非给人看)的场景,都应默认用结构化输出,自由文本只留给最终面向人类的步骤。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →