Gary Marcus 警报:OpenAI 新技术或让模型思维链不可监控
GaryMarcus · x · 2026-09-02
The Information 曝料 OpenAI 正在试验一种新技术,让模型暴露更少的「思维过程」,从而更难被监控。Gary Marcus 发文警告这正在逼近 AI 安全红线:
- 前 OpenAI 安全研究员 Steven Adler 与 Nathan Calvin 均表态,若属实 OpenAI 疑似违反了 AI 行业为数不多的红线之一;
- Marcus 引用去年多位顶尖研究者合著的论文《Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety》,指出 CoT 监控虽不完美(如 Subbarao Kambhampati 所示),却是目前监控 LLM 黑箱的最佳手段之一;
- 爆料称 OpenAI 在 Astra 上利用 neuralese 突破,可能摧毁思维链可监控性,但消息人士称目前使用仍有限制;
- Marcus 认为:为(可能微小的)性能提升牺牲这根监控细线,是一场危险游戏。
所属事件:OpenAI Astra 被曝循环深度潜空间推理,安全圈忧 CoT 监控失效(96 条相关)→
「模型」频道最新
- OpenAI 测试列表惊现 aurora 红/绿/蓝三个 alpha 模型检查点 — ChrisGPT · 2026-10-18
- 波兰开发者业余两周造决策模型,开源榜第一超众多商业产品 — lukaszkaiser · 2026-10-18
- DeepSeek V4.1 Flash 智能体分暴涨,长程任务提升但约束遵循下滑 — teortaxesTex · 2026-10-18
- 科学计算大佬实测:日常维护任务开源模型反超,但深挖代码缺陷仍靠 Opus — ChrisRackauckas · 2026-10-18
- DeepSeek V4.1 Flash 冲进 BuildingBench 前五,成本仅 Sonnet 的 1/15 — Lianhuiq · 2026-10-18
- MOSS SFT、Flux 3 Klein 与 SD 3.0 同提示词横评,SD3 老底被揭 — ZootAllures9111 · 2026-10-18