UX-1用千名模拟购物者,318场历史A/B判对84%

Squoosh Bench: Evaluating UX-1 on 318 Historical Website A/B Tests

Rohith Pasula, Johari Dramiga, Viraj Shah, Suzan Halim, Tyler Dooskin

cs.HC

2026-11-19

UX-1给每版页面模拟一千名购物者,在318场超过21天的历史A/B里判对267场(84.0%),高于Qwen3 Next 80B的61.6%,且看好的126个变体里有118个在线上赢了。

这篇在解决什么

页面改动排着队,能分到的线上流量有限。弱变体占住流量,真能涨转化的方案被放下,两头都是损失。Squoosh 把「下一场测谁」做成三分类:不看结果,预测一场做完的 A/B 测试(两个版本分流给真实用户)是原页面赢、变体赢,还是统计上说不清。

私有合作实验筛了 412 场。规则 SQ-DURATION-2026-08 在打分前锁定,只留跑超过 21 天的 318 场。标签看主转化上「变体减原页面」的双侧 95% 置信区间:整个高于 0 是变体赢(137),整个低于 0 是原页面赢(113),区间含 0 是说不清(68)。永远猜变体能对 137 场,准确率 43.08%。

方法

打分的四个系统是 Squoosh UX-1、Gemini 3.5 Flash、Qwen3 Next 80B 和 GPT-OSS 120B,另有三条把全部实验猜成同一类的常数规则。UX-1 用真人浏览数据微调开源基座,学的是浏览时的分叉:列表有没有滑完,商品页有没有点开,转化前有没有离开。

每场对比各放 1000 名模拟购物者到原页面和变体上,设备与目标相同,共 2000 个会话。交回一个类别、一个带符号的相对提升、一段短解释。相对提升是变体转化率相对原页面变化的百分比。

证据是冻住的页面:DOM 快照和 1280×720 截图,截图经视觉适配器 v1.2.4。DOM 是浏览器里的页面结构,文本和元素层级都在。身份用匿名句柄遮住,转化人数、观测效应和标签在推理时扣下。能看到的只有计划曝光、分流、分析规则和历史基线。顺序随机,正反都跑,每种顺序独立 3 次,四系统共 7632 次。主分取预定主顺序的第一次。无效预测记 0 分,留在 318 的分母中。

「说不清」指的是真人实验的区间含 0,不是模拟人群自己的波动。各系统按各自预算比较,微调的单独贡献拆不出来。

结果

系统判对/318准确率均衡准确率换序一致
Squoosh UX-126783.96%83.40%94.65%
Qwen3 Next 80B19661.64%60.25%83.02%
GPT-OSS 120B18758.81%57.11%79.25%
Gemini 3.5 Flash16250.94%50.07%53.14%
永远猜变体13743.08%33.33%未测
永远猜原页面11335.53%33.33%未测
永远猜说不清6821.38%33.33%未测

均衡准确率是三类召回的平均。UX-1 认对原页面 94/113(83.19%)、变体 118/137(86.13%)、说不清 55/68(80.88%)。它比 Qwen3 Next 80B 多对 71 场,差 22.33 个百分点。配对 McNemar 检验看的是两个模型在同一批实验上谁对谁错,对三个通用模型的 p 都小于 0.001。Wilson 95% 区间给的是这个准确率的置信范围,为 79.53%到87.59%,按实验独立计算。

有方向胜负的 250 场里,UX-1 认对 212 场(84.80%),永远猜变体是 54.80%。51 场错误中,方向反了 10 场,有胜负却判说不清 28 场,说不清却选了边 13 场。83 次说不清里对了 55 次,精确率 66.27%。它选出胜者的 235 场里,212 场与记录一致(90.2%)。

看好变体的 126 场占全部的 39.6%,其中 118 场线上真赢(93.7%),4 场输,4 场说不清,盖住 137 个变体赢家中的 118 个(86.1%)。漏掉的 19 个里,6 个在它看好原页面的 109 场中,13 个在它判说不清的 83 场中。有一场弹窗,它看好变体,线上原页面赢了。

289 场上四家都有数字,占 90.88%。带符号相对提升的平均绝对误差,UX-1 为 1.43 个百分点,Gemini 3.5 Flash 为 3.27,Qwen3 Next 80B 为 3.81,GPT-OSS 120B 为 4.12;只比大小则是 1.19、2.78、3.34、3.59。UX-1 交齐了 318 场数字,其余为 307、301、294。

为什么重要

先测那 126 个被看好的变体,用 39.6% 的候选盖住 86.1% 的变体赢家,名单内命中 93.7%。漏网的 19 个赢家里,13 个被判成说不清。拿「说不清」淘汰方案,这 13 个改进不会拿到流量。

可用的核验是:发出流量前记下预测,名单内外都抽去跑。93.7% 建立在变体赢占 137/318 的语料上。自己的队列更难赢,这个命中率会下降。

多对的 71 场是整套系统的差距,浏览微调、每边 1000 个会话和页面证据都算在里面,微调单独占多少没有拆开。Gemini 3.5 Flash 换序一致性只有 53.14%,UX-1 为 94.65%,主分却只用一个顺序的第一次。

局限与存疑

Squoosh 在评自己的模型,语料是不能公开来源的私有实验。412 场中 97 场进过更早的 Bench 报告。训练数据与 40 多个站点是否重叠,未知。

Wilson 区间假设实验互相独立。同站测试共享受众和设计,错误正相关时区间偏窄,按站点聚类的标准误没有给。21 天门槛排除 94 场短实验,84% 只描述较长实验。

区间含 0 不等于效应为零。标签还受随机化单位、中途查看和多重比较影响,靠近阈值时加样本就可能翻面。模型看得到计划曝光、分流和分析规则,「说不清」有可能主要是在猜功效。去掉设计信息的对照没有做。

准确率未按行业和干预拆开。零售电商 94 场,占 29.6%,其余为电信、文旅、金融、企业软件、食品订阅和会员媒体。相对提升只有平均绝对误差,没有真实提升的分布。289 场是四家都有数字的交集,缺数若落在难样本上,误差会偏小。1000 名购物者收成一个类别的规则也没有写出。

术语

原文与代码

相关论文

全部论文解读