浙大小红书等发布 CARTBench：复杂购物建议评测，无一模型超 45%
Yuqin Dai · hf · 2026-11-12
浙江大学、清华大学、小红书与上海交大团队发布 CARTBench，用于评测 LLM 购物助手对带时间线的复杂模糊请求（CART）的处理能力：
- 数据：覆盖 17 个零售领域的真实商业购物案例，含带时间戳的多轮对话与 1,603 条商品记录
- 标注：从成功订单的优秀回复中提炼「理想回复原则」，构建 1,328 条专家标注评分标准，分为 Core / Excellence / Safety 三档
- 发现：对 7 个旗舰商用 API 模型与 35B+ 开源模型做全量评测，10 个模型中仅 3 个在 Core 超 90%，无一在 Excellence 超过 45%，暴露「理解 vs 执行」落差
- 诊断：共同失败点集中在商品证据不足与未澄清的需求，与需求变动和关键未知因素相关
代码与数据已开源，并配套提出 Principle-Guided CART Prompting 结构化推荐策略。
「研究」频道最新
- CreativityPrism 基准出炉:3 大领域 8 项任务横评 17 个模型创造力 — DanielKhashabi · 2026-11-12
- 疑似评测泄漏：前沿模型全答错一道答案本身有误的 GPQA 题 — qberthet · 2026-11-12
- Latent Sparse Attention 用聚类索引 KV，比全注意力快 70 倍 — bendee983 · 2026-11-12
- Flash ALOHA 发布：50 条演示学会近人类速度精细操作 — Thom_Wolf · 2026-11-12
- 数学基准新成绩单曝光:GPT-6.1 Sol 90.43% 居首,低成本模型表现亮眼 — teortaxesTex · 2026-11-12
- e-means 聚类算法提速 10-45 倍，1.4 个 epoch 就击败 k-means — pmttyji · 2026-11-12