LLM结构化输出可靠性：3个月生产经验
Classic_Succotash285 · reddit · 2026-07-15
作者分享了在医疗应用中让70B模型稳定输出符合严格Schema的JSON的实践经验。 - **迭代过程**：仅提示“返回JSON”有效率为40%；在Prompt中提供详细Schema升至75%；开启JSON模式达92%；加入Schema验证器及带错误反馈的重试循环后达到99.5%。 - **常见失败原因**：字段中包含Emoji导致解析失败、生成字段过长引发上下文超限、以及约0.5%的模型未返回JSON的基线异常。 - **生产工作流**：LLM调用并开启JSON模式 -> 解析失败则记录原始输出 -> 使用Zod验证Schema -> 失败则带错误信息重试一次 -> 仍失败则使用静态兜底。 - **结论**：模型层级的影响小于预期，Prompt脚手架的设计更为关键。