开源工具验证生成式UI
zook1337 · reddit · 2026-07-15
作者介绍了一个开源项目 **uivet**：用于在 CI 中验证“非确定性生成式 UI”。 ## 解决的问题 生成式 UI 的输出每次都可能不同，传统的像素 diff 回归测试不适用；而只做文本层面的 LLM 评测，也无法真正渲染 DOM。 ## 工具怎么做 每个场景会： - 采样 **N 次生成** - 用 headless Chromium 渲染 - 评估 **数据一致性、可访问性（axe-core）、布局、控制台错误** - 再结合一个 **多模态裁判模型** 输出严格 JSON - 用 **score stddev** 表示一致性，并通过 CI exit code 和基线比较来拦截失败 ## 设计动机 作者提到有真实缺陷案例：生成的卡片会悄悄漏掉保修信息链接；同时，生成 UI 的质量判断本身也很难，文中引用的人类设计师一致性（Cohen's kappa）并不高，因此需要“确定性检查 + 模型裁判”并行。 ## 当前诉求 这是一个 **MIT 开源** 项目，带有离线 demo。作者希望大家重点批评的是： - 这种多模态模型 JSON 打分是否足够稳定到可以阻塞构建 - 还是只该信任确定性的完整性和一致性门槛