QD-Rec: Open-Ended Evolution of Recommendations via Quality-Diversity
Takashi Ishida, Taro Makino, Issa Sugiura
cs.IR, cs.AI, cs.LG, cs.NE
2026-10-16
QD-Rec 用 bandit 选题、用档案里的旧假设写出推荐理由。1000 次评估后，并购等场景里它多数时候均分最高、档案往往最大，迪士尼并购从 2.40 升到 2.91，真人书评则打平。
收购看哪家公司，营销打哪个客户，研究者读哪篇论文，候选项都是给定的有限集合。开放的是理由。同一标的可以因补能力、拿渠道或纵向整合被看中，理由没有上界。
排序式推荐默认每个物品都有可预先算完的分数。这里的分数要等假设写完并被评判才存在。目标是给一个决策者画像，交回一组高分且彼此不同的物品与假设。假设是说明该物品为何适合此人的一段话。
档案在结束时就是答案。每条含物品、假设、嵌入和质量分。嵌入把物品文本和假设接在一起，用 text-embedding-3-small，邻居按余弦相似度取。
选题靠多样性感知的 contextual bandit。贝叶斯线性回归加 Thompson sampling 估计质量，再加到最近档案物品的余弦距离，β 为 1。已入库物品的这项加成为零，五组种子的终档都没有重复物品。用 10 条种子热启动。
写假设时，模型读画像、物品和均匀抽出的 3 条旧假设，做三件事之一：mutate 把旧角度改到新物品，crossover 拼合多条，explore 写还没人写过的角度。
准入先问新颖。裁判看画像、新条目和 3 个近邻，给出是否新颖。新颖直接入库。否则只与最近一条盲比：位置打乱，不说谁是新的，不许平局。赢则替换，输则丢弃。入库与否都会更新 bandit。
Novelty 随机选题、不给示例。Novelty+Evo 给 3 条示例，选题仍随机。proposer 用 claude-sonnet-5，弱对照用 claude-haiku-4-5。裁判为 gpt-5.6-terra，与 proposer 不同家族。每配置 1000 次评估、5 个种子。
四个池：画面书 1761 本、系列书 1117 本（分数是读者 1 到 5 星，不进提示词）、美国公司 6332 家（迪士尼或摩根大通）、加州合成客户 10000 人（虚构 3D 打印机或技能课）、三会论文 17511 篇。
指标在最终档案上算。Quality 为均分，裁判 0 到 10，书评是 1 到 5 星。Diversity 为 1 减两两余弦相似度均值。Coverage 为 25 乘 25 的 PCA 格子占用率。n 为留存条数。表内是 sonnet、五种子均值。
| 设置 | 方法 | Quality | n |
| 并购·迪士尼 | Novelty | 2.40±0.12 | 85±1 |
| 并购·迪士尼 | Novelty+Evo | 2.51±0.07 | 135±5 |
| 并购·迪士尼 | QD-Rec | 2.91±0.05 | 214±2 |
| 并购·摩根大通 | Novelty | 2.88±0.04 | 95±3 |
| 并购·摩根大通 | Novelty+Evo | 2.54±0.08 | 108±4 |
| 并购·摩根大通 | QD-Rec | 3.04±0.04 | 183±5 |
| 论文·开放式 | Novelty | 4.96±0.02 | 578±5 |
| 论文·开放式 | QD-Rec | 5.32±0.02 | 730±8 |
| 营销·3D 打印 | Novelty | 6.81±0.04 | 96±4 |
| 营销·3D 打印 | QD-Rec | 7.05±0.05 | 164±2 |
| 书评·系列/青少年 | Novelty | 4.17±0.01 | 222±5 |
| 书评·系列/青少年 | QD-Rec | 4.15±0.02 | 244±3 |
LLM 裁判下，QD-Rec 在多数设置均分最高，且从未显著差于最佳变体。并购增益最大，但绝对分仍低：迪士尼从 2.40 到 2.91，档案从 85 到 214。摩根大通上，只加进化示例的 Novelty+Evo 均分 2.54，低于 Novelty 的 2.88。
多样性在并购略低，其余领域最好或并列。覆盖率多半更高，但不是每格都赢：开放式画像下 Novelty+Evo 为 0.47，QD-Rec 为 0.44。开放式画像配 haiku 时，Novelty+Evo 均分 5.03，高于 QD-Rec 的 4.87，前者档案只有 247 条，Novelty 有 468 条。
书评上三者星级接近。星级打的是书，改备忘不改分，同一本书也不再抽。
MMR 与 DPP 只在书评上比过。扫过权重 γ 后，星级仍追不上任何一个 QD 变体。画面书读者的种子 0 上，基线约 3.68 到 3.71，QD 变体约 4.12 到 4.22。基线看不到星级，差距来自评分反馈和档案一起。
单次费用约 13 到 62 美元。QD-Rec 与 Novelty+Evo 同价，约为 Novelty 的 1.3 倍，差额主要来自示例把输入拉长。换 Qwen3-Embedding-0.6B 后，均分和档案大小的名次不变。均分随运行上升。多样性大约 100 次评估后持平，因为准入看 LLM 是否判新颖，不看嵌入距离。
冻结大模型当变异算子、档案当种群，这次用在推荐上。物品不能新造，搜索发生在理由上。同样 1000 次调用，加上 bandit 和 3 条旧假设，并购均分和档案大小一起上去。生成器只是一次提示，外环已经是杠杆。
单次几十美元，适合内部决策里要一组不同说法的场合。相对两个消融，这是渐进改进，改进主要在 LLM 分数上。真人星级没有拉开。
bandit 是固定嵌入上的线性模型。非线性版本还没试，让 coding agent 读档案再写选择规则也还没试。父代均匀抽取，内环是一次提示。
质量分量的是赞成理由能否站住。裁判规则写明，主张不要收购或不要投放时，就算推理正确也必须低分。proposer 被要求尽量写出最强赞成论证。并购里最高的均分是 3.04。按 0 到 10 的分档，3 到 4 分仍是 weak case，2 分及以下等于没有真正的理由。
真人分数只出现在书评。池子是这名读者已经打过分的书，542145 人里按阈值只有 8 人合格。备忘改不了星级。营销用的是合成客户和虚构产品。公司是真的，没有成交或整合结果。
终档看不到同一物品的两条记录。多样性奖励让已选物品几乎不再入选，旧假设实际是在把角度搬到别的物品上。MMR 和 DPP 的对照混有评分反馈，论文写明这不是选题器的干净消融。五个种子上的配对 t 检验未做多重校正。