往返验证修复法检验 LLM 形式化忠实度,偏差降 1.4-2.5 倍

StanfordAILab · x · 2026-10-20

斯坦福 AI Lab 转发的新论文提出解决 autoformalization 忠实性问题的方法:如何确认 LLM 把自然语言翻译成形式化表达时没有丢失原意？

方法：往返验证与修复

• 先让 LLM 形式化一条陈述，再把形式化结果翻译回自然语言并重新形式化，最后用形式化工具检查两个版本是否逻辑等价——全程无需人工标注的真值。
• 两者一致即视为形式化忠实的证据；不一致时，按阶段诊断把错误定位到具体翻译步骤，再用限定范围的修复算子尝试修正该步骤。

实验结果

• 在两个法律条文领域（德州交通法典、德州公园与野生动物法典）上，用 Claude Opus 4.6 与 GPT-5.2 配三种修复基线评测。
• 诊断引导的限定修复最有效，效果取决于诊断函数的可靠性；在完整修复系统下，未通过等价检查的规则比通过者多出 1.4-2.5 倍的自然语言推理（NLI）漂移。

原文链接 →

「研究」频道最新

• 从混淆 C 代码大赛到 AI 数学证明:同一股「看不懂但有效」的味 — DynamicWebPaige · 2026-10-20
• NeurIPS Spotlight PersistBench：测试 4D 世界模型是否真有「视觉记忆」 — weichiuma · 2026-10-20
• 斯坦福团队发布 Collaborative Intelligence 基准:测 AI 当队友的能力 — KyeGomezB · 2026-10-20
• 人类首次让眼中细胞「返老还童」，青光眼视神经再生迎突破 — Dr_Singularity · 2026-10-20
• 科学家将80岁细胞逆转至分子年龄20岁以下 — Dr_Singularity · 2026-10-20
• Minos 开源:为零延迟科学实验构建「预测量」agent 世界 — rbhar90 · 2026-10-20

更多「研究」频道 AI 资讯 →