Snap 用 LLM 当裁判评估广告相关性,蒸馏小模型替代昂贵 A/B 测试
_reachsumit · x · 2026-10-14
Snap 团队提出一种针对动态商品广告(DPA)检索系统的离线评估指标,解决传统互动指标反馈稀疏且有偏、在线 A/B 测试昂贵耗时的问题。
方法要点:
- 先通过 Semantic-ID 分组、事件分层切分,把用户互动历史压缩为一组紧凑的意图代表
- 用 LLM 充当语义相关性裁判,逐一评估推荐商品与每个意图的相关性,聚合成用户级相关性分数
- 采用 agentic、人类对齐的 prompt 框架生成多品类评估准则,并将教师模型的判断蒸馏进高效的小型 student 模型以规模化计算
该指标与离线和在线业务指标均强相关,可在 A/B 测试前更快更可靠地迭代广告检索系统。
「研究」频道最新
- 小鹏发布自动驾驶 VLA 模型 AUGUstus，NAVSIM 双榜 SOTA 并实车部署 12Hz — XPENG-AI · 2026-10-14
- 阿里联合南洋理工系统评测对比学习策略：多数花式技巧收效甚微 — alibaba-multimodal-industrial-ai · 2026-10-14
- Lightricks 推出 APEX：层级潜空间+异步去噪，实现 64-128 倍极致压缩 — Lightricks · 2026-10-14
- EMHO：冻结模型不变，让具身智能体框架从经验轨迹自我进化 — Hyun Jung Lee · 2026-10-14
- 港中深等发布 WorldCast：分布式多人世界模型，CS2 上实时运行 — CUHKSZ · 2026-10-14
- 高丽大学发布 MixLID：token 级混合语言识别模型，覆盖 111 种语言 — Seongtae Hong · 2026-10-14