事实性冷知识三轮测试:DeepSeek 接近全对,MiniMax 长尾翻车
teortaxesTex · x · 2026-10-20
博主 @teortaxesTex 用人工构造的冷知识问答(先由 Sonnet 出题、再用网络搜索校验答案)对 DeepSeek 与 MiniMax M3.1-Flash 做了多轮对比:
- 第一轮(24 分制):DeepSeek 24/24 全对,MiniMax 14/24。MiniMax 的模式是标题级事实基本正确,但在第二层细节(高度、年龄、死因等)上编造。
- 第二轮(31 项子答案):DeepSeek 31/31,MiniMax 15/31;MiniMax 甚至虚构了不存在的山名、化学家和论文故事,且耗时明显更长(如 2m49s vs 8s)。
- 第三轮(37 项):DeepSeek 34/37 仅丢 3 项,MiniMax 23/37;MiniMax 在图灵问题上烧完 2 万 token 预算后放弃作答。
结论:DeepSeek 的失败模式比预想窄——数字级精确事实几乎无懈可击,失误集中在冷门叙事的单个次要字段;MiniMax 强在高度复制的密集表格,弱在叙事长尾,遇到不确定内容会用编造的完整故事替代。作者还承认自己一处答案密钥有误,DeepSeek 的回答反而比他的密钥更准。更早的一轮测试中,扰动后的简单题 MiniMax V4.1 Flash 全对、原题 85%,而 Whale(DeepSeek)两轮均 100%。
所属事件:冷知识问答实测 DeepSeek 满分完胜 MiniMax(2 条相关)→
「模型」频道最新
- Inception 扩散模型 Mercury 实测:并行生成速度惊艳 — gkavek · 2026-10-20
- DeepSeek 开源自研推理框架 DeepInfer,支撑 V4.1-Flash 生产级部署 — deepseek_ai · 2026-10-20
- DeepSeek V4.1-Flash-1017 上线 Qoder,10月24日前0.0x积分免费用 — alifcoder · 2026-10-20
- DeepSeek-V4.1-Flash 量化新玩法:2/3/4-bit 混合精度跑双 RTX PRO 6000 — TheZachMueller · 2026-10-20
- Vals AI 评测:DeepSeek V4.1 Flash 攻防网络任务击败 GPT-6 Sol — Hesamation · 2026-10-20
- MemTensor 发布 MemT-1.0:把记忆内化进模型计算的记忆原生架构 — MemTensor · 2026-10-20