「诚实电路」遭质疑：作者承认欺骗探针误报率高达 12-69%

kevrussell · x · 2026-11-03

kevrussell 回应外界对其团队可解释性工作的「诚实电路」解读：原帖从未声称存在「诚实电路」，那只是媒体的简称。他坦承自己的欺骗探针同样缺乏足够对照——按最佳 AUROC 挑选的试点探针会把 12.40% 的诚实样本误判为欺骗；按召回率挑选的探针虽能抓住全部 165 个欺骗样本，但误报率高达 68.99%。

他还指出与 Astra 团队的谄媚测试对比：Astra 确实在 3 组配对中凭注意力模式识别出谄媚者，结果真实；但 head 10.2 的模式随上下文漂移，且已发布的 patch 测试显示「一致性差距」完全没有缩小。他的结论是：区分模型不等于解释模型。