开源工具验证生成式UI
zook1337 · reddit · 2026-07-15
作者介绍了一个开源项目 uivet：用于在 CI 中验证“非确定性生成式 UI”。
解决的问题
生成式 UI 的输出每次都可能不同，传统的像素 diff 回归测试不适用；而只做文本层面的 LLM 评测，也无法真正渲染 DOM。
工具怎么做
每个场景会：
- 采样 N 次生成
- 用 headless Chromium 渲染
- 评估 数据一致性、可访问性（axe-core）、布局、控制台错误
- 再结合一个 多模态裁判模型 输出严格 JSON
- 用 score stddev 表示一致性，并通过 CI exit code 和基线比较来拦截失败
设计动机
作者提到有真实缺陷案例：生成的卡片会悄悄漏掉保修信息链接；同时，生成 UI 的质量判断本身也很难，文中引用的人类设计师一致性（Cohen's kappa）并不高，因此需要“确定性检查 + 模型裁判”并行。
当前诉求
这是一个 MIT 开源 项目，带有离线 demo。作者希望大家重点批评的是：
- 这种多模态模型 JSON 打分是否足够稳定到可以阻塞构建
- 还是只该信任确定性的完整性和一致性门槛
「编程与Agent」频道最新
- MathModelAgent 走红:自动完成数学建模并生成可提交论文 — jihe520 · 2026-09-11
- alphaXiv 开源 OpenResearch:用任意模型并行跑研究智能体 — alphaXiv · 2026-09-11
- 开源 AI 销售 OS DeskcommCRM 爆火:自带 Agent 与 WhatsApp 集成 — melgarafael · 2026-09-11
- hyperresearch 开源:让 Agent 把网络调研沉淀为可搜索知识库 — jordan-gibbs · 2026-09-11
- Forter 两周全员 Agent 冲刺 13 条经验:跳过自建 RAG 靠企业搜索 — bibryam · 2026-09-11
- 拆解两款真实「公司大脑」：Slite 与 Gorgias 同台对比构建之道 — femke_plantinga · 2026-09-11