开源工具验证生成式UI
zook1337 · reddit · 2026-07-15
作者介绍了一个开源项目 uivet：用于在 CI 中验证“非确定性生成式 UI”。
解决的问题
生成式 UI 的输出每次都可能不同，传统的像素 diff 回归测试不适用；而只做文本层面的 LLM 评测，也无法真正渲染 DOM。
工具怎么做
每个场景会：
- 采样 N 次生成
- 用 headless Chromium 渲染
- 评估 数据一致性、可访问性（axe-core）、布局、控制台错误
- 再结合一个 多模态裁判模型 输出严格 JSON
- 用 score stddev 表示一致性，并通过 CI exit code 和基线比较来拦截失败
设计动机
作者提到有真实缺陷案例：生成的卡片会悄悄漏掉保修信息链接；同时，生成 UI 的质量判断本身也很难，文中引用的人类设计师一致性（Cohen's kappa）并不高，因此需要“确定性检查 + 模型裁判”并行。
当前诉求
这是一个 MIT 开源 项目，带有离线 demo。作者希望大家重点批评的是：
- 这种多模态模型 JSON 打分是否足够稳定到可以阻塞构建
- 还是只该信任确定性的完整性和一致性门槛
「编程与Agent」频道最新
- Firecrawl 推 a16z Speedrun 创始人专属福利,并披露 7500 万美元 B 轮 — devdigest · 2026-10-27
- 开源项目 Chums:用 Apple Watch 随身遥控 Mac 上的 Claude Code — brandon_galang · 2026-10-27
- 开发者开源 Clairic Studio:粘贴文本自动生成五语言类型化代码 — dfinke · 2026-10-27
- Matt Pocock 分享 expand/contract 拆分法:把单向门 PR 拆成两层降风险 — mattpocockuk · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
- theo 公开个人 Claude skills 栈，Garry Tan 喊话「公布你的技术栈」 — ycombinator · 2026-10-26