DeepSeek V4.1 Flash 1017 实测:个人基准 10 任务全过,单任务不到 5 美分
Fabulous_Pollution10 · reddit · 2026-10-18
Nebius 从事 coding agent 与 eval 工作的工程师用自建的 10 个真实工作任务基准(每任务跑 3 次、隐藏测试校验)实测 DeepSeek V4.1 Flash 1017:
- 成绩:high 档 30 次全部通过(pass-all-3 100%),比 9 月版明显更强,速度也快 1.7 倍;每任务约 5 美分。
- 代价是费 token:每任务约 55 万 token(Opus 5.5 low 档只需约 3 万),但几乎全部命中缓存,所以成本依然极低。
- Harness 对比:DeepSeek 自家 harness 的系统提示约 7k token( Pi 约 3k),提供原生文件读写工具;Pi 几乎全靠 bash。low 档下 DeepSeek Harness 抓到了 Pi 漏掉的一个边界用例(pass@1 29/30 vs 27/30),但多耗约 75% token。
- 横向参照:Pi harness 下 GPT-6 Luna、Haiku 5.5、Opus 5.5 low 均可达 100%,成本依次为 $0.0145/$0.0208/$0.1168 每任务。
- 作者还写了如何把自己的 agent 会话变成 eval 的教程,并计划做更难的基准继续对比各 harness 与工具。
「编程与Agent」频道最新
- 自建监控面板:66757 次请求中 62.9% 是自动化流量 — Thionne_WTZ · 2026-10-18
- 可填空万能 Prompt:让 Claude 包办脚本、配音、Remotion 渲染动效视频 — aziz4ai · 2026-10-18
- 不用 AE/PR:一条五层 Prompt 让 Claude+Remotion 全流程生成动画视频 — aziz4ai · 2026-10-18
- 创业者开源自研 AI 助理引擎 Brambit,主打数据自持的 Muse 替代品 — Trincaa · 2026-10-18
- 开发者用字符画打造纯 ASCII MMORPG,魔法与 Boss 全靠文字渲染 — HanchungLee · 2026-10-18
- 游戏开发者怒怼 Tim Sweeney 拥抱 AI:AI 代码可读性差会毁掉 Fortnite — almmaasoglu · 2026-10-18