PEAR: Progressive Evidence-Based AutoResearch for Industrial Search Systems
Yifan Wang, Shipeng Zhu, Fei Xiong, Yuqin Yang, Yonghui Huang, Kunyao Wu, Yue Wang, Weichao Meng, Yu Gong
cs.IR, cs.AI
2026-09-28
PEAR把工业搜索自动研究做成假设状态机加四级置信晋升,在真实电商搜索两场A/B里把Main Order/DAU相对原策略分别提高2.7336%和3.2957%。
工业搜索把查询理解、召回和排序串成多阶段决策，模型和业务约束缠在一起，流量还在变，离线很难预估改动效果。产线靠循环实验往前推：提假设、改策略、看真实流量、再改。
LLM agent 把这条回路收成 AutoResearch 后，常见规则是 keep-if-better，留下最高分候选当下一轮对照。它默认各轮分数可比较。搜索流量一直在漂，瞬时涨幅会被写成可复用知识，后续探索就被带偏。
评测还分层：代理便宜能铺开，不一定换成线上收益；线上实验贵。已有工作盯单个信号或按任务写流程，缺一条跨层共用的晋升规则。
PEAR 把「知识怎么记」和「候选何时升级」拆开再接上。
Evidence-driven AutoResearch 给每个策略任务单独留研究状态，绑定目标、干预范围、假设、候选空间和带上下文的证据。Plan 生成与假设挂钩的候选，并用贝叶斯优化式定性推理兼顾加细和探新，不拟合数值采集函数。Execute 跑实验。Evaluate 按上下文把假设判成支持、冲突或未决。Update 追加证据并改假设与搜索空间。
Confidence-Gated Verifier Ladder 把评测收成四级，目标同一，保真度和成本递增：
各层产出同一形状的证据：效应点估、置信区间、样本量、晋升决定。区间下界大于 0 才 PROMOTE；盖住 0 则 RETAIN；上界小于 0 则 STOP。L1/L2 用代理分，L3/L4 用线上观测，不合成一个总分。
报告中的实验因跨区域数据权限从 L2 起跳，L1 在生产里优化过其他策略。L1 到 L3 小时级，L4 天级。见真实用户前要人工确认。
三个策略任务：A 调结果密度约束 G=(w,q)（基线 (2,1)），B 调位置曝光并分三阶段搜，C 只报 L2 规模。
L2 筛得很紧：
| 任务阶段 | 轮次 | 实验组 | 晋出 L2 | 晋升率 |
| A | 19 | 133 | 2 | 1.50% |
| B-I | 12 | 84 | 5 | 5.95% |
| B-II | 2 | 14 | 1 | 7.14% |
| B-III | 21 | 147 | 2 | 1.36% |
| C | 16 | 76 | 3 | 3.95% |
任务 A 把窗口和容量拆开：G=(3,2) 信号为正但两轴缠住，复现后容量单改 G=(2,2) 最强，假设改为放容量、不加宽窗口。
任务 B 的 Phase I、II 在 L4 无显著或正向不显著，写回状态后 Phase III 才拿到显著订单提升。
代理与线上总量的对照：订单 signed relative error 为 -3.49%，点击 -16.02%，GMV -18.23%。这是聚合均值偏差，不是单个候选效应的预测精度。任务 A 两个过线候选跨层方向一致：
| 候选 | L2 订单代理 | L3 观测订单 | L4 Main Order/DAU |
| A | +45.88% | +15.48% | +2.73% |
| B | +61.64% | +29.76% | +2.16% |
L4 两场 A/B，相对各自原策略基线（论文标 p<0.05 的主指标与订单相关项）：
| 任务 | Main Order/DAU | SKU Order/DAU | Main OPMS | SKU OPMS | ASN |
| A | +2.7336% | +2.7259% | +2.7407% | +2.7375% | +0.0470% |
| B | +3.2957% | +1.0441% | +3.2595% | +2.9448% | +1.3841% |
SearchPV/DAU、GMV/DAU、PayPV/PV 分别为 A +0.0063% / +2.2136% / +2.9826%，B +1.1512% / +1.6633% / +1.6298%。Main Order/DAU 是日活人均主订单。
可迁移的是把假设、证据和实验上下文绑在一起的状态，加上区间下界大于 0 才升级。keep-if-better 在分数可比较时够用，搜索流量一漂就会把瞬时涨幅写进后续搜索。梯子把大多数试错停在影子流量上。
2.73% 和 3.30% 是对原基线，没有和其他 AutoResearch 对照；没有评价模型、影子流量和实验平台就抄不走梯子。
作者写明只在一个电商综合搜索环境验证，跨平台和地区的泛化未立住；合规时可跳过 L1；干预范围是策略参数不是模型；梯子绑着集群、评价模型和活流量。
主实验没走 L1。代理一致性是总量均值，不是 L2 预测 L4。Table 5 只跟两个赢家，L2 误晋比例和 Task C 的 L4 都没给。