DeepSeek 1017 CyberGym 仅提 0.6%,Flash 单任务成本低至 0.23 美元
teortaxesTex · x · 2026-10-31
teortaxesTex 分析 Fireworks 的第三方评测：DeepSeek 1017 在 CyberGym 上 pass@3 为 95.36%,较 0910 的 94.82% 仅提升 0.6%,置信区间重叠。配图榜单显示 DeepSeek V4.1 Flash (1017) 以 95.36% pass@3 居首，单任务成本仅 $0.23、耗时 11m34s,远低于 GLM 5.3($2.25)、Kimi K3($2.89)等；ExploitBench 达 96.8%(3000 步)。作者指出：要区分高 pass@1 模型，需要难度分布足够陡的基准——若假设任务同质，0910 的 88.1% pass@1 应推出 pass@3≈99.8%,实际仅 94.8%,说明失败集中在顽固的难题子集上(首次失败本身即难度证据)。分析还讨论了 harness 设置(温度 1.0、131k 最大输出、6 小时超时)与 0-3% 不可评分任务的影响，并呼吁 Fireworks 公布 pass@1。属对评测方法学的深度讨论，非官方数据。
所属事件:网传 DeepSeek 存在内部网络安全模型，跑分逼近前沿(4 条相关)→
「模型」频道最新
- Anthropic 取消 Ultra 套餐 5 小时限制，Max 系列更名 — kimmonismus · 2026-10-31
- OpenAI 展示 GPT-6 Astra 远程操控机械臂实验 — OpenAIDevs · 2026-10-31
- 架构消融实测：2020 年后最有用的改进是细粒度 MoE — stochasticchasm · 2026-10-31
- 用户让 Gemini 列「该避开的盗版网站」，它真给列了一份 — gameplaydex · 2026-10-31
- Gemini 订阅被赞最良心：家庭共享+Nano Banana Pro 大额度 — PAstynome · 2026-10-31
- Realtime-Bench 揭示实时决策短板：最强模型得分也仅 36% — ManlingLi_ · 2026-10-31