GLM 安全训练训出「科幻自我复制恶意软件」专属检测神经元

burny_tech · x · 2026-10-21

ericho 分享其在 GLM 模型上做激活监控的一个有趣发现：用于检测网络风险与 reward hacking 的监控器中，反复出现同一个神经元（L20 shared C133），其 Cyber 风险排名高居第 12，且在全部 3 个随机种子中都出现在 reward hacking（RH）相关激活里。

人工标注显示，该神经元同时编码「科幻/未来科技题材（含较弱的自我复制恶意软件词汇簇）」与「负面思辨式世界构建」，且在 RH 与 cyber 两类风险中均为正激活（RH +0.12，cyber +0.36）——即模型把科幻叙事与真实的网络风险表征混在了同一个神经元里。