腾讯开源群聊记忆基准:50 组群聊 8 万条消息考 AI 记忆力
_akhaliq · x · 2026-11-10
腾讯在 Hugging Face 发布 GroupAssistBench,一个面向真实场景的群聊记忆基准。
- 数据规模:50 个群聊、约 8 万条消息、2,395 个问题
- 考察点:AI 助手能否不止于「记住」过去的聊天,而是真正把记忆用于帮助群成员,例如在出行日提醒未付款的人补交红包
- 评测设计多层级多维:单人回忆(L1)vs 群体回忆(M2)vs 含冲突场景(M3),并区分「回忆」与「实际运用」;用打分 rubric 区分基于最新信息还是已被推翻的旧信息(答错旧值会被扣分)
对做聊天助手记忆系统的团队是一个较真实的评测集。
「研究」频道最新
- Meta 发布 SAM 3D Body DINOv3 模型，3D 人体姿态与网格恢复 — facebook · 2026-11-11
- AI2 开源 ToyBlocks:用「任务相关保真度」评测机器人世界模型 — allen_ai · 2026-11-11
- 零依赖 MCP 枢纽：九个研究工具仓库共用一个调用面，依赖树互不合并 — Emergency-Tutor-7 · 2026-11-11
- OpenTac 开源触觉皮肤：CAD 一键给任意机器人表面布传感器 — _krishna_murthy · 2026-11-11
- Elicit 整理各路大佬「疾病何时被治愈」预测时间表 — jungofthewon · 2026-11-11
- tts-bench 第三期:91 个开源 TTS 模型与 28 个付费 API 同题横评 — UkieTechie · 2026-11-11