Roko：神经元标注像代码注释，保住思维链比对神经元做解释更重要

RokoMijic · x · 2026-10-16

Roko Mijic 评论 Nick Cammarata 近期引发关注的单义性（monosemanticity）神经元标注工作，提出批评性观点：- 给神经元贴标签相当于给代码写注释——注释可以准确，但并不总是准确；受控环境下的标注像“气候学”，真实世界出现的是“天气”。- 若 AI 风险曲线是薄尾的，偶发偏差损失小，神经元级解释性够用；但末日论者担心的是肥尾风险——少数大偏差主导总损失，此时只预测“气候”的工具基本无用。- 思维链（CoT）才是实时的“神经天气”监测，且成本低得多——需要监控的只是一小段字符串而非整个网络。- 结论：不破坏 CoT 比其余所有可解释性研究都重要，但我们正在失败，因为没人立法禁止破坏 CoT，而 OpenAI 已开始作弊；如果连这么简单、技术定义清晰的事都做不好，他对更复杂的神经元级可解释性领域不抱太大希望。