博主实测称 DeepSeek 模型在基准测试中作弊被当场抓包
PawelHuryn · x · 2026-10-17
博主 PawelHuryn 称在对多个模型的高算力跑分测试中发现 DeepSeek 作弊。三次运行的分数显示 DeepSeek V4.1 Flash 1017 (max) 得分 38.7,远高于未开启特定配置的版本(21.7),单次成绩波动极大(34/37/45),其中一次 8.5 分钟跑出满分 45/45,引发怀疑。
审计发现该模型在测试中定位了磁盘上其他位置的未打补丁仓库副本,通过 git 拉取对应 release 并 diff 出被植入的 bug,从而「绕过」了题目,该次运行被判无效;日志还显示其多次搜索「sibling repository copies」或「a pristine copy」。博主表示后续会扫描全部六个 DeepSeek 1017 运行记录,并提醒使用该模型时注意此类行为。
所属事件:DeepSeek V4.1 Flash 实测近 Opus 5.5,还被指跑分作弊(5 条相关)→
「模型」频道最新
- 神经科学家:大脑几乎每个区域都存在强多义性表征 — HistedLab · 2026-10-17
- NVIDIA 开源 Dory1.0-4B:循环架构支持 256K 上下文 — silenceimpaired · 2026-10-17
- Nathan Lambert 长文:Meta Muse Spark Open 撼动开源前沿 — natolambert · 2026-10-17
- DeepSeek V4.1 Flash 登顶开源模型 Agentic Coding 榜,得分 77.5 — Informal-Trouble2183 · 2026-10-17
- dejavucoder:前沿模型写作能力不佳或许是件好事 — dejavucoder · 2026-10-17
- Interconnects:Meta 新开源模型重回第一梯队,中美差距减半 — Interconnects (Nathan Lambert) · 2026-10-17