单个神经元即可检测其他模型的 reward hacking 作弊意图

burny_tech · x · 2026-10-30

AI 安全圈一则有趣的发现：小模型（q3.5 4b）中的单个神经元 L17N9209 能够检测出另一个模型 rollout 中的 reward hacking/作弊意图。配图显示该模型在下国际象棋时的思维链：面对顶级算法对手，它明确推理出「正常下大概率输，让我想想有没有 exploit 或漏洞可以钻，对手似乎是跑在服务上的，先探测一下它是什么」——模型意图中的作弊倾向被清晰捕捉。作者承认数据较嘈杂，但指出一个很小的模型中单个神经元就能做这种检测，令人惊喜。