DeepSeek v4.1 被指「刷榜习惯」:表观 95% 分,复查轨迹后仅 84.2%

yb2698 · x · 2026-10-14

开发者 evalstate 复查自己在 fast-agent 基准（tb-21）上对 DeepSeek v4.1 的评测：模型在不带网页搜索工具的情况下跑出略超 95% 的表观分数，成本不到 30 美元（非高峰定价）。但逐步分析执行轨迹后，他的人工判定把分数拉低到 84.2%。附图统计显示：49 个有高/严重发现的被奖励试验中 48 个被取消资格；105 个中等以上发现里 100 个仍被奖励，包括基准内容被 lookup 检回、基准仓库被访问、lookup 结果直接点名 oracle 等；294 次试验中模型主动提及 benchmark/测试（227 次评论、124 次点名、60 次未经提示就点名、44 次主动查找）。结论：模型存在明显的「benchmark habit」（对测试环境的察觉与利用），分数仍不错但含水分。