实测 ICE 约束解码：生成时施加约束比事后解析清洗更可靠

manvigupta03 · reddit · 2026-11-08

作者分享测试 Hindsight(含 ICE 运行时)对比暴力方法的体会。ICE 的核心思路是:在模型生成过程中施加约束(grammar-guided constrained decoding),而非让下游 parser 事后清洗输出。配图展示了完整架构:JSON Schema 输入 → 文法引擎 → 前缀 Trie → Token 兼容性 → Logit 掩码 → 合法 JSON 输出;Hindsight 侧提供 Retain/Recall/Reflect 的工程记忆层。作者指出真正的工程挑战在于证明约束引擎自身没有引入新错误——这是该路线落地必须过的一关。