港科大团队发布 MMDM 基准：5448 道题测出决策模型多选准确率仅 36.8%
CUHKDBGROUP · hf · 2026-11-11
CUHK/港科大等团队发布 MMDM（Massive Multitask Decision Making）基准，专门评测 System-1 决策模型——即单次前向直接输出结构化概率决策、不走自回归推理链的模型类型：
- 共 5448 道高质量题目，覆盖 16 类任务：agent 状态追踪、工具与技能选择、偏好判断、rubric 打分等；选项空间 2–1024 个，输入最长 64817 tokens
- 任务为新构建 + 基于源材料重写重组，避免旧基准的测试集泄漏问题
- 对 28 个决策模型的评测显示：常识题表现好，但在相互依赖选项、约束决策和多选题上普遍拉胯。Perplexity Decider-V1.2 在世界知识 Hard 单选达 78.75%，但选项逻辑仅 53.95%、约束规划仅 47.95%；全部模型中最高的 Hard 多选准确率只有 36.81%
结论：联合推理、约束感知选择、多选完整恢复是决策模型下一阶段的优先方向。
「模型」频道最新
- 谷歌发布最强模型 Gemini 4 Carbon:AA 指数 59 居首,首发价 $2/$10 — iamfakhrealam · 2026-11-11
- 曝 Google Carbon 实测超 Opus 且便宜 250%，但速度慢 3 倍 — melvinjohnsonp · 2026-11-11
- Burkov 质疑马斯克「最强模型」论：没有实验室能长期领先 — burkov · 2026-11-11
- Qwen 新旗舰 Qoduck 疑为 -Max 变体，试用者：不及 GLM-5.3，更远逊 Opus 5.5 — bclavie · 2026-11-11
- 百度发布 ERNIE 5.5 Flash 预览版:280B 总参 14B 激活,11 月 25 日开源 — Baidu_Inc · 2026-11-11
- Yang-Mills 工作组独立验证 OpenAI 构造:证实 Wightman 公理但未证质量隙 — calabi_and_yau · 2026-11-11