光靠 Prompt 恐吓不行,大厂用约束解码锁死 JSON 输出
dotey · x · 2026-09-11
作者分享一场 AI 基础设施团队面试经历:面试官追问如何保证大模型返回纯 JSON、不夹带寒暄或 Markdown 反引号。作者最初答「用 Prompt 强调死命令」,被面试官点破:概率采样下模型总有抽风概率,后端解析照样会在半夜报 500。
后来他与负责推理引擎的 Tech Lead 交流才明白,靠自然语言 Prompt 无法保证 100% 确定性。大厂的通用做法是底层约束解码(Grammar-Guided Decoding):
- 使用 Outlines、Jsonformer 等库
- 或模型官方原生的 Structured Outputs API
- 原理是在 Logits 采样阶段直接把所有非合规字符的概率置零,从机制上杜绝非法输出
「编程与Agent」频道最新
- 开源 agent skill /first-reader:模拟真人读者逐段读你的草稿 — Saboo_Shubham_ · 2026-09-11
- 开源 Agent Beacon 本地记录 AI Agent 运行时行为,统一 23+ 框架事件格式 — Scobleizer · 2026-09-11
- OpenAI 发布 1 小时 Codex 工作坊:从 agent 提示到自我改进循环 — nikola_mr64990 · 2026-09-11
- 无写 API 也能自动化：开发者用 Playwright 给游戏网站造 MCP — Renyc_Elessar · 2026-09-11
- AI Agent 开始给自己发邮件记笔记,一天 1-3 次自我备忘 — RachelVT42 · 2026-09-11
- Lenny 峰会热传幻灯片:AI slop 从没经历过真正的设计评审 — floguo · 2026-09-11