独立复现成功:DeepSeek V4 Flash 达到 Terminal-Bench 82.7%
Exciting-Camera3226 · reddit · 2026-08-09
第三方评测作者使用公开的 Ante 0.preview.71 框架,成功独立复现了 DeepSeek V4 Flash 0731 在 Terminal-Bench 2.1 上的跑分成绩。
在 89 个任务、每个任务 5 次测试(共 445 次试验)的配置下,模型通过 OpenRouter 调用,开启了最大推理强度且未启用额外技能,最终取得了 368 次成功,准确率达到 82.7%(±1.79 SE)。
这一结果与 DeepSeek 官方此前使用未公开的“DeepSeek Harness minimal mode”报告的成绩完全一致,证明了该模型对测试框架的敏感度,并为社区提供了可信的公开评测数据。
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7:Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯:抠掉 Llama 3 全部权重矩阵还剩几个参数? — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核,其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记,全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色,获赞预训练扎实 — SonglinYang4 · 2026-10-16