同一 JSON Schema 三家方言各不同，GPT-6.1 Sol 盲评 9:0 横扫 Claude
WorthRow3022 · reddit · 2026-11-14
开发者 Aliaksandr Liapin 在开源项目 CloudArchitect Lite（把英文应用描述转成 AWS 架构图）中接入 OpenAI 和 Gemini 后总结的两点经验：
1. 「结构化输出」不是一个统一标准
- OpenAI strict mode：拒绝 $ref 旁带 description（其他 provider 可以）
- Anthropic：integer 类型不支持 maximum/minimum，0–3 分范围只能移到自己的代码校验里
- 还有「合法 JSON 但语义错误」：评审模型给一个设计返回两份评审、另一个零份，Schema 无法表达「每项恰好一次」
- 可行做法：单一 Zod 源 Schema + 每个 provider 一个小适配器 + 代码层按原 Schema 及 Schema 表达不了的规则重新校验
2. 每 provider 一名评审的盲评面板
6 个模型（每家 2 个）匿名化后由 Anthropic/OpenAI/Google 各一个评审模型按 7 维 rubric 打分，取三家中位数：
- GPT-6.1 Sol 在全部 9 对中战胜 Claude Sonnet，连 Claude 评审员也更偏好 Sol（4–3，1 平）
- 评审员对本家模型有轻微偏好，三家中位数能抑制这种偏差
- 确定性规则检查发现了评审员忽略的问题：得分最高的模型在 15 个设计中有 6 个的公开 API 未声明鉴权
限制：每模型仅 9–12 个设计被评审、评审是模型而非人类架构师；整个基准只花了约 12 美元 API 费用。
「编程与Agent」频道最新
- 企业「第二大脑」陷阱:三套系统三个AI,三个过时答案 — alex_verem · 2026-11-14
- Modal 端点接入 Nous Hermes Agent,一行命令装插件 — AAAzzam · 2026-11-14
- Cmpnd 开源 dspy-wsp：花 5-10 美元让 GPT-6 改权重，决策模型全部提分 — dbreunig · 2026-11-14
- AmphoraDB 上线:为 Agent 集群打造的无服务器数据库,钱包即登录、按语句付费 — banteg · 2026-11-14
- 前量化研究负责人辞职做 agent：9 天自动谈下 1000 达人 — Shruti_0810 · 2026-11-14
- 90% 代码 AI 生成后如何守住质量:Limestone 的 V.U.E. 三道门 — alex_verem · 2026-11-14