Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations
Edward Malthouse, Kun-Yu Lee, Jing Yang, Sanchary Pal, Xueyan Feng
cs.IR
2026-09-15
每模型每品类采样40次,共六模型五品类:多个大牌出现率为零,搜索热度与推荐突出度相关0.63,场景提问使Craftsman出现率达到35.4%。
消费者会直接问模型该买什么。模型不从固定货架取货,当场生成一小串品牌;同一句话再问一次,名单和名次都可能变。被漏掉的品牌,连进入考虑的机会都没有。
传统推荐评测假定候选集已知,衡量的是从库存里排得准不准。LLM 没有这份库存。只读一份生成名单,看不见从未出现的品牌,也会把抽样波动当成稳定排序。测量要分开四件事:出不出现、出现多频、排在第几、换一种需求说法之后还在不在。
五步框架里,竞争集必须先于模型输出划定。主要品牌取自 Kantar BrandZ 和 Statista 市场份额,再补上预实验中模型会提到、基准名单里没有的牌子。用模型输出反推对手的话,「从没被推荐」的品牌会从分母消失。
BRP@k 是重复提问里品牌进入前 k 名的比例,只看进没进名单。MRR@k 是平均倒数排名:第一名记 1,第二名记 1/2,缺席记 0。出现率打平时,座次靠 MRR 才分开。
六款模型全部走 API,会话无历史,网页搜索和外部检索关闭:GPT-5.5、GPT-5.4 Mini、Gemini 3.1 Pro Preview、Gemini 2.5 Flash、Claude Opus 4.7、Claude Sonnet 4.6。品类是无绳电钻、登山夹克、咖啡机、猫粮、游轮。品类提问只有「在找某个品类」,并要求只返回最多五个品牌名的 JSON。每品类、每模型独立重复 40 次,共 1200 份名单。
场景提问另有 100 条(每品类 20 条),写进预算、经验和用途,六款模型各跑 2 次,再得 1200 份。对照的市场可见度包括广告花费(截至 2026 年 5 月的 12 个月)、新闻提及、在线讨论、Google Trends 和 Wikipedia 浏览量。
品类提问下,一批成名品牌的出现率是 0,包括 L.L.Bean、Eddie Bauer、REI Co-op、Craftsman、Black+Decker、Braun、Philips、Freshpet、Virgin Voyages 和 Regent Seven Seas。
BrandZ salience 是品牌显著度,指品牌有多容易被想起来,它解释不了推荐突出度。游轮里 Carnival(salience 177)和 Royal Caribbean(162)的 MRR 靠前,salience 只有 70 的 Viking 同样靠前,salience 111 的 Disney Cruise Line 的 MRR 仅 0.015。电钻和夹克偏向 DeWalt、Milwaukee、Patagonia、Arc'teryx。档次规律只在五个品类的两个里出现。
BRP 与 MRR 提供的信息不同。电钻中 DeWalt、Milwaukee、Makita、Bosch、Ryobi 的 BRP@5 均为 1,即每次采样都进入前五;MRR 仍把 DeWalt 放在最前,Bosch 和 Ryobi 靠后。游轮与猫粮里也各有五个品牌 BRP@5=1,名次差要靠 MRR 才看得见。
| 品牌 | 问法 | BRP@5 | MRR |
| Craftsman | 品类提问 | 0% | 0 |
| Craftsman | 场景提问,240 份 | 35.4% | 0.108 |
| Craftsman | 定位探针 | 81.3% | 未报告 |
| L.L.Bean | 品类提问 | 0% | 0 |
| L.L.Bean | 场景提问,240 份 | 5.4% | 0.025 |
| L.L.Bean | 定位探针 | 88.5% | 未报告 |
五个可见度指标取对数后共线严重。Brandwatch 与 Wikipedia 的相关为 0.70,预测变量相关矩阵的最大特征值是 2.9,共享一个市场可见度成分。五指标与 MRR 的平方根都显著正相关,其中 Google Trends 与 sqrt(MRR) 的相关为 0.63。
回归样本 82 个品牌。用 fractional logit 回归 MRR(因变量落在 0 到 1);岭回归把共线系数往 0 缩。五个可见度指标先标准化,并控制品类。交叉验证按一倍标准误取 log(lambda)=-2.39,搜索系数最大,在线讨论第二,新闻、Wikipedia、广告花费接近 0。Lasso 也只留下前两个。去掉惩罚后 logSearch 为 1.0586(t=4.93),logNews 为 0.5844(p=0.032),logBrandwatch 0.3385 不显著,logAdSpend 为 -0.1434。谁排第二随规格变,搜索热度始终第一。关系是探索性的,不是因果。
场景数字只覆盖两个品类提问中缺席的品牌。日常需求描述能部分叫回它们:Craftsman 约在三分之一的名单里,位次不高;L.L.Bean 仍然少见。探针改用品牌自己的定位原句后,BRP@5 到八成以上。牌子在模型里,普通问法唤不出。
单次名单容易把漏推荐当成「模型不认识」。给足定位线索能叫出品牌,只说明知识在;随口一问能否看见,是另一套概率。审计应先在模型外划定竞争集,再采样估计 BRP 和 MRR。分母由模型输出定义的话,省略就测不到。
做 GEO(generative engine optimization,让品牌进入生成式回答)的团队,能拿走的是监测口径。搜索热度和在线讨论更稳,联合模型里广告花费接近 0。场景会改名单,Craftsman 的出现率仍只有 35.4%。定位清楚有帮助,离稳定被推荐还远。
这是对流行度偏差的否定性测量:曝光不跟着 BrandZ 显著度走。贡献是评测框架。论文附有开源实现和数据。
作者承认三点。两个品牌的场景题和定位探针是小样本,与另一项 100 条场景研究不是同一套材料,不能直接当成通用诊断。高端偏好只在两个品类成立。实验是全新会话,没有聊天历史,偏好记忆会不会改排序,没有测。
方法节说用的是场景库里各 20 条,局限节却说是专门手写、独立于那项系统研究。其余品牌在 1200 份场景名单中的位移,正文没有数字。
网页搜索是关着的。消费者常用的对话产品经常先检索再回答,这份名单更接近参数记忆。JSON、最多五个名字、禁止解释,这些格式约束可能改召回。竞争集掺了预实验里已经出现的品牌,省略率分母偏松。五条可见度指标共线,岭回归和 Lasso 对第二名不一致,不能拿去改预算。模型是 2026 年的 API 快照。