AI 网站 UX 审计 27 条发现 2 条为假,模型为凑数编造问题
noya1979 · reddit · 2026-11-05
一位独立开发者($1500 预算只花了 $7)用 Playwright 截图+结构化数据,让 AI 对 5 个网站做 UX 评估,共产出 27 条发现,作者以 UX 设计师身份逐条复核:20 条准确、5 条部分准确、2 条错误。
最有价值的失败出现在第 5 个(质量最好的)网站:模型正确地没报任何高中优先级问题,却硬凑了 4 条低优先级发现,其中 2 条是假阳性——把刻意的渐进式披露当成 UX 缺陷、质疑本就合理的导航分类。作者判断:审计格式鼓励模型必须找问题,于是它在没有问题时也编问题。这对评估类产品是致命缺陷。
改进方向:要求问题必须附带用户受阻的具体证据;明确允许各严重级别返回零发现;在上下文中评估成熟设计模式;区分观察、已验证问题与潜在隐患;不把设计偏好当可用性缺陷。
另发现证据管线问题:Playwright 自动截图会漏掉动态渲染区块,MVP 拟采用 URL 结构化数据 + 用户上传整页截图 + 可选站点描述的混合方案。
「编程与Agent」频道最新
- 程序员零游戏经验 VibeCoding 做游戏出海，用 Agent 团队「躺平编程」 — yangyi · 2026-11-05
- 用 GPT-image-2.6 批量做动态表情包：作者公开完整提示词模板 — op7418 · 2026-11-05
- AI Agent 接管 K8s 告警：降噪、降 MTTR、自动处理低风险事故 — _jaydeepkarale · 2026-11-05
- Semiconductor AI 负责人判断：100% RTL 代码将由 Agent 生成 — appenz · 2026-11-05
- 开发者称 Replit Agent 三个月取代全部 IDE 与编码工具 — amasad · 2026-11-05
- Google DeepMind 用 Antigravity 把数天药物设计流程压缩到 1 小时 — Gaiden206 · 2026-11-05