EMNLP 论文:LLM 生成的 Web 应用仅 11.7% 通过行为契约基准
algo_diver · x · 2026-10-26
作者在 EMNLP 2026(布达佩斯)展示首篇一作海报论文 ConformWeb——首个面向「行为契约」的基准,评测 LLM 生成的 Web 应用是否真正行为正确。
核心发现
- LLM 生成的 Web 应用看起来能用,但只有 11.7% 的运行通过包括隐藏工作流在内的全部行为契约(252/2160 runs)
- 场景级通过率仅 36.7%,步骤级 49.4%
- 最大失败类别是缺失验证/状态管理;未审计的表面之下的失败率远高于表面
- 加后端、多轮修复收益有限:两轮修复后全通过仅 23.4%,Tier D 场景几乎无改善(仅 10%)
- 能力越强分数越高:Claude Opus 4.6 全通过 70.8,Gemini 3 Flash 仅 4.3
方法
- 定义「行为契约」:动作、观察、关系三类,覆盖隐藏场景(私有状态、角色权限、重载后持久化等)
- 24 个意图场景 × 286 公开 + 468 隐藏行为,2496 runs、10 个模型、7 类应用
结论:静态检查 UI 不够,仅修 UI 的修复只有 23.4% 生效;前端能力提升不等于后端正确性。
所属事件:代码 LLM 论文入选 EMNLP2026：Web 应用行为合规基准亮相(2 条相关)→
「编程与Agent」频道最新
- vibe coding 做研究的新铁律：不碰你不想搞懂的东西 — generativist · 2026-10-26
- AI 用得好的核心不是堆 Agent,而是少而精的 harness 与质量底线 — annetgriffin · 2026-10-26
- 12 分钟讲透 AI Agent 记忆：工作记忆、长期记忆与 RAG 全梳理 — _AustinCalvert_ · 2026-10-26
- Grok Bot v0.75.5 曝新功能：存卡支付、邮件转发、自动化提速3倍 — mark_k · 2026-10-26
- agent 搞坏 UI 就往 skill 里加一条：10 条 agent 设计守则 — _AustinCalvert_ · 2026-10-26
- 把名词变成动词：用「跨域」思维榨出模型的隐藏能力 — petesena · 2026-10-26