结构化生成最难的是尾延迟
remilouf · x · 2026-07-17
结构化生成的问题被描述为“三重困难”：**性能、正确性、以及对输入 DSL（如 JSON Schema）的遵循** 都很难，任何一个错误都可能让系统不可用，甚至造成伤害。 回复里进一步指出：把**中位延迟**降下来相对容易，靠低级语言、数据结构优化等就能改善；真正难的是**尾延迟**，它取决于你选择的**结构化生成算法路径**，而且不同算法的差异非常关键。
remilouf · x · 2026-07-17
结构化生成的问题被描述为“三重困难”：**性能、正确性、以及对输入 DSL（如 JSON Schema）的遵循** 都很难，任何一个错误都可能让系统不可用，甚至造成伤害。 回复里进一步指出：把**中位延迟**降下来相对容易，靠低级语言、数据结构优化等就能改善；真正难的是**尾延迟**，它取决于你选择的**结构化生成算法路径**，而且不同算法的差异非常关键。