Squoosh Bench:UX-1 模拟 shopper 预测 A/B 测试结果,318 场命中 84%
Rohith Pasula · hf · 2026-11-21
Squoosh 团队发布 Squoosh Bench,检验「模拟 shopper 能否替实验团队预判哪些网站改动值得上线测试」:
- 筛选 412 个历史 A/B 测试,取运行超过 21 天的 318 个作为评测集;推理时屏蔽页面角色、隐藏真实结果,各系统需预测「原版赢/变体赢/无结论」。
- UX-1(在人类浏览数据上微调的模型)每臂模拟 1000 名 shopper,正确分类 267/318(84.0%,95% Wilson 区间 79.5–87.6%)。
- 最强通用模型 Qwen3 Next 80B 仅正确 196/318(61.6%)。
- 更关键的是精准度:UX-1 在 126 个实验中押注变体会赢,实测中 118 个真的赢了(93.7%),仅 4 个输、4 个无结论;其余 192 个实验中还有 19 个变体赢。
结论:基于人类浏览数据微调的模拟 shopper 可作为上线前预筛,显著节省真实流量测试成本。
「研究」频道最新
- NVIDIA 前实习生分享世界模型记忆研究,基于 Matrix-Game 2.0 与 LingBot-World — cindy_x_wu · 2026-11-21
- METR Time Horizon 2.0 附录偏少引研究者吐槽,主题截图流出 — dfrsrchtwts · 2026-11-21
- 数学家宣布黎曼猜想核心 GRH 证明草案,强调完全无 AI 参与 — paulabartabajo_ · 2026-11-21
- Arcfront 把医院工厂的真实工作记录做成 RL 环境与评测数据 — rohanpaul_ai · 2026-11-21
- Goodfire 解剖 Inkling 2 Mini:循环模型的层能读写「未来」的自己 — fatihdin4en · 2026-11-21
- 陶哲轩团队 mathematician 下注:敢赌黎曼猜想明年被证明吗? — jaivin · 2026-11-21