Squoosh Bench: Evaluating UX-1 on 318 Historical Website A/B Tests
Rohith Pasula, Johari Dramiga, Viraj Shah, Suzan Halim, Tyler Dooskin
cs.HC
2026-11-19
UX-1给每版页面模拟一千名购物者,在318场超过21天的历史A/B里判对267场(84.0%),高于Qwen3 Next 80B的61.6%,且看好的126个变体里有118个在线上赢了。
页面改动排着队,能分到的线上流量有限。弱变体占住流量,真能涨转化的方案被放下,两头都是损失。Squoosh 把「下一场测谁」做成三分类:不看结果,预测一场做完的 A/B 测试(两个版本分流给真实用户)是原页面赢、变体赢,还是统计上说不清。
私有合作实验筛了 412 场。规则 SQ-DURATION-2026-08 在打分前锁定,只留跑超过 21 天的 318 场。标签看主转化上「变体减原页面」的双侧 95% 置信区间:整个高于 0 是变体赢(137),整个低于 0 是原页面赢(113),区间含 0 是说不清(68)。永远猜变体能对 137 场,准确率 43.08%。
打分的四个系统是 Squoosh UX-1、Gemini 3.5 Flash、Qwen3 Next 80B 和 GPT-OSS 120B,另有三条把全部实验猜成同一类的常数规则。UX-1 用真人浏览数据微调开源基座,学的是浏览时的分叉:列表有没有滑完,商品页有没有点开,转化前有没有离开。
每场对比各放 1000 名模拟购物者到原页面和变体上,设备与目标相同,共 2000 个会话。交回一个类别、一个带符号的相对提升、一段短解释。相对提升是变体转化率相对原页面变化的百分比。
证据是冻住的页面:DOM 快照和 1280×720 截图,截图经视觉适配器 v1.2.4。DOM 是浏览器里的页面结构,文本和元素层级都在。身份用匿名句柄遮住,转化人数、观测效应和标签在推理时扣下。能看到的只有计划曝光、分流、分析规则和历史基线。顺序随机,正反都跑,每种顺序独立 3 次,四系统共 7632 次。主分取预定主顺序的第一次。无效预测记 0 分,留在 318 的分母中。
「说不清」指的是真人实验的区间含 0,不是模拟人群自己的波动。各系统按各自预算比较,微调的单独贡献拆不出来。
| 系统 | 判对/318 | 准确率 | 均衡准确率 | 换序一致 |
| Squoosh UX-1 | 267 | 83.96% | 83.40% | 94.65% |
| Qwen3 Next 80B | 196 | 61.64% | 60.25% | 83.02% |
| GPT-OSS 120B | 187 | 58.81% | 57.11% | 79.25% |
| Gemini 3.5 Flash | 162 | 50.94% | 50.07% | 53.14% |
| 永远猜变体 | 137 | 43.08% | 33.33% | 未测 |
| 永远猜原页面 | 113 | 35.53% | 33.33% | 未测 |
| 永远猜说不清 | 68 | 21.38% | 33.33% | 未测 |
均衡准确率是三类召回的平均。UX-1 认对原页面 94/113(83.19%)、变体 118/137(86.13%)、说不清 55/68(80.88%)。它比 Qwen3 Next 80B 多对 71 场,差 22.33 个百分点。配对 McNemar 检验看的是两个模型在同一批实验上谁对谁错,对三个通用模型的 p 都小于 0.001。Wilson 95% 区间给的是这个准确率的置信范围,为 79.53%到87.59%,按实验独立计算。
有方向胜负的 250 场里,UX-1 认对 212 场(84.80%),永远猜变体是 54.80%。51 场错误中,方向反了 10 场,有胜负却判说不清 28 场,说不清却选了边 13 场。83 次说不清里对了 55 次,精确率 66.27%。它选出胜者的 235 场里,212 场与记录一致(90.2%)。
看好变体的 126 场占全部的 39.6%,其中 118 场线上真赢(93.7%),4 场输,4 场说不清,盖住 137 个变体赢家中的 118 个(86.1%)。漏掉的 19 个里,6 个在它看好原页面的 109 场中,13 个在它判说不清的 83 场中。有一场弹窗,它看好变体,线上原页面赢了。
289 场上四家都有数字,占 90.88%。带符号相对提升的平均绝对误差,UX-1 为 1.43 个百分点,Gemini 3.5 Flash 为 3.27,Qwen3 Next 80B 为 3.81,GPT-OSS 120B 为 4.12;只比大小则是 1.19、2.78、3.34、3.59。UX-1 交齐了 318 场数字,其余为 307、301、294。
先测那 126 个被看好的变体,用 39.6% 的候选盖住 86.1% 的变体赢家,名单内命中 93.7%。漏网的 19 个赢家里,13 个被判成说不清。拿「说不清」淘汰方案,这 13 个改进不会拿到流量。
可用的核验是:发出流量前记下预测,名单内外都抽去跑。93.7% 建立在变体赢占 137/318 的语料上。自己的队列更难赢,这个命中率会下降。
多对的 71 场是整套系统的差距,浏览微调、每边 1000 个会话和页面证据都算在里面,微调单独占多少没有拆开。Gemini 3.5 Flash 换序一致性只有 53.14%,UX-1 为 94.65%,主分却只用一个顺序的第一次。
Squoosh 在评自己的模型,语料是不能公开来源的私有实验。412 场中 97 场进过更早的 Bench 报告。训练数据与 40 多个站点是否重叠,未知。
Wilson 区间假设实验互相独立。同站测试共享受众和设计,错误正相关时区间偏窄,按站点聚类的标准误没有给。21 天门槛排除 94 场短实验,84% 只描述较长实验。
区间含 0 不等于效应为零。标签还受随机化单位、中途查看和多重比较影响,靠近阈值时加样本就可能翻面。模型看得到计划曝光、分流和分析规则,「说不清」有可能主要是在猜功效。去掉设计信息的对照没有做。
准确率未按行业和干预拆开。零售电商 94 场,占 29.6%,其余为电信、文旅、金融、企业软件、食品订阅和会员媒体。相对提升只有平均绝对误差,没有真实提升的分布。289 场是四家都有数字的交集,缺数若落在难样本上,误差会偏小。1000 名购物者收成一个类别的规则也没有写出。