DeepSeek V4.1 编程基准疑标注混乱,同一版本两处得分不一
teortaxesTex · x · 2026-10-23
AI 评测观察者 teortaxesTex 质疑 Artificial Analysis 的 DeepSeek 编程基准标注可能有误。配图显示:在 Codex 框架下 DeepSeek V4.1 Flash 得 47 分,而在 DeepSeek Harness 下「V4.1 Flash 1017」得 46 分。
- 作者疑惑:V4.1-1017 在 DeepSeek Harness 下得 46,而 V4.1 在 Codex 下得 47,两者差异难以令人相信,怀疑其中一个标签(是否同为 1017 版本)标错了,并 @ Artificial Analysis 求证。
- 同图还可见 Grok 4.7 Build(xhigh)、Kimi CLI-Kimi K3、Muse Code、GLM-5.3 等模型/框架的对比得分,覆盖度均为 3/3。
「模型」频道最新
- Gemini 4 拒答明显更宽松,敏感度低于多数模型 — haider1 · 2026-10-23
- SemiAnalysis 算账:OpenAI 200 美元订阅每美元 token 腰斩,Anthropic 值 5 倍以上 — RexDouglass · 2026-10-23
- 谷歌云发布 PLE 基准:物理工程考题全部前沿模型得分不足 50% — Afinetheorem · 2026-10-23
- LLM 版权护栏现漏洞:拒绝抓取网页全书,却肯打包 ZIP 下载 — burkov · 2026-10-23
- 港科大溯源发现:「Wait」标记继承自训练数据而非 RL 发明 — huawei-noah · 2026-10-23
- 研究:Claude Opus 4.8 同行评审全面胜过人类专家 — emollick · 2026-10-23