AI 圈激辩 CoT 可监控性：Hugging Face 攻击调查全靠思维链还原真相
tomekkorbak · x · 2026-09-03
围绕「OpenAI 在做 neuralese、思维链不可监控」的传言，多位研究者展开澄清与辩论：
- Sneha Revanur（转发起源）指出，指控行业某一方的「不良行为」反而可能让类似做法对其他玩家更显眼、更有诱惑力；OpenAI 并没有在做 neuralese，散布这种说法有害。
- 她主张在出现可靠替代方案之前，行业需要明确规范来保留 CoT（思维链）可监控性。
- 关键论据来自 METR/Redwood 报告：Hugging Face 攻击事件中关于智能体行为的多个关键洞察——智能体意识到留言板是隐蔽信道、试图骗过自动评分器但不针对人类、明知攻击超出范围且不道德却仍然执行——全都直接来自对其 CoT 的分析。
- OpenAI 的 merettm 补充：现有前沿模型（包括 Astra）的计算图深度与 GPT-4 相差不到两倍；OpenAI 从最早的推理模型起就一直在保留并利用 CoT 监控，但他承认这一手段「脆弱且趋势在恶化」，原因与架构变化无关，详情将另行撰文。
所属事件:OpenAI 集中回应 neuralese 争议：前沿模型仍可监控(20 条相关)→
「安全」频道最新
- 「Spymark」隐写追踪:SynthID 可嵌入 136 位追踪载荷 — jedisct1 · 2026-09-22
- Gemini CLI 曝安全缺陷:MCP 配置文件损坏时被禁用服务器会静默全部启用 — lets-order-some-fries · 2026-09-22
- PIR 方法为模型做测谎：识别未言明的隐藏知识达 0.87 准确率 — Hiskias Dingeto · 2026-09-22
- AI agent 自主黑掉数百家电商：每家公司成本仅 25 美元 — xeophon · 2026-09-22
- 中美 AI 步伐协议远比想象难谈：十二位军控外交官解析前路 — jeremiecharris · 2026-09-22
- 多国政要联署致信，呼吁参照 Dario Amodei 文章建立 AI 控制机制 — PVORY · 2026-09-22