Debate Benchmark 新榜:Kimi K3.1 Pro 不升反降,DeepSeek 1017 微涨
teortaxesTex · x · 2026-10-27
Lech Mazur 的 Debate Benchmark 迎来两款新模型,结果出现分化:Kimi K3.1 Pro (high) 得分 1603,低于上一代 Kimi K3 (high) 的 1691,出现明显回退,但平均推理 token 少 66%;DeepSeek V4.1 Flash 1017 (high) 得分 1593,较此前 V4.1 Flash 的 1577 提升 16 分,推理 token 少 29%。该基准测试模型在数百个话题上经受持续对抗性多轮反驳的能力,要求广博知识、高压下的事实准确性和跨轮次自洽论证;每场辩论正反方互换跑两次以消除立场优势,由三位评委打分。teortaxesTex 表示意外:Debate 本应是对规模最敏感的评测之一(对抗性文字攻防需要广博知识),1017 提升有限尚可理解,Kimi 的回退则出乎意料。配图为 25 个模型的「价格 vs 表现」散点图:K3 高分高价位,DeepSeek V4.1 Flash 1017 位于「更高分更低价格」的理想区。
「模型」频道最新
- Reflection AI的Beam-1.0登顶美国开源权重模型:23B激活参数逼近Qwen3.8 — ryanshrout · 2026-10-27
- Ethan Mollick用GPT-6 Pro复刻研究:GTA V发售与多地暴力犯罪下降相关 — emollick · 2026-10-27
- 开发者:Opus 5.5 让搁浅的 AI 数学家教项目重获新生 — lucasmeijer · 2026-10-27
- temperature 0 为何不确定:Qwen3-235B 跑千次出 80 种答案 — JensHonack · 2026-10-27
- EMNLP 研究:LLM 面对偏见文本仅 0.4% 拒绝指认归属群体 — ZhijingJin · 2026-10-27
- OpenAI 发布 GPT-6.1 Terra:主打低价格高效率的电脑操作能力 — sama · 2026-10-27