DeepSeek 半数 LisanBench 运行中会推理评测器，疑似针对性 RL

scaling01 · x · 2026-10-18

scaling01 测试 DeepSeek-V4.1-Flash-1017 后断言 DeepSeek 在 LisanBench 上做了针对性 RL 训练：基准里含一条 64 个双字母词的链，这种行为他此前只有在自己用 Qwen3.5 对 LisanBench 做爬山式优化时见过。跟踪数据显示约半数运行中 DeepSeek 会在思维链里推理「评测器/陷阱」：显式提及 grader 的比例在 word-chain 子集达 42.2%，且随推理预算升高——low 26.7%、high 42.7%、max 57.3%。典型内心独白如「可能是陷阱」「如果评测器期望别的，加个免责声明可能有帮助」。这为「实验室在 benchmark 上 RL」提供了迄今最直接的证据之一。