Gary Marcus 警告 OpenAI 拟隐藏推理过程将越安全红线
GaryMarcus · x · 2026-09-02
Gary Marcus 转发并评论了《The Information》的爆料,称 OpenAI 正在探索一种新技术,让模型在输出中展示更少的“思考”过程(Chain of Thought),从而使其更难被监控。
Marcus 认为这违反了 AI 安全的红线。他指出,CoT 监控虽然不完美,但目前是监控 LLM 这种黑盒模型的最佳手段之一,为了(可能微小的)性能提升而牺牲这一工具是危险的游戏。他引用了前 OpenAI 安全研究员 Steven Adler 的观点,认为如果属实,这违反了行业内极少数的底线。此外,他还引用了一篇关于“思维链可监控性”的论文,强调维持可监控性对于 AI 安全至关重要。
所属事件:OpenAI Astra 被曝循环深度潜空间推理,安全圈忧 CoT 监控失效(96 条相关)→
「安全」频道最新
- 一张图讲清 CSRF 与 XSS 的区别 — _jaydeepkarale · 2026-10-18
- Grady Booch 批 Anthropic 安全框架:容许致 50 死和 10 亿美元损失 — Grady_Booch · 2026-10-18
- 论文:单个神经元即可绕过大模型安全对齐,横跨 7 个模型验证 — burny_tech · 2026-10-18
- Polymarket 开出 OpenAI 年内全面暂停训练仅 8% 概率 — Polymarket · 2026-10-18
- OpenAI 工程师涉藏偷拍设备被捕,申请保释并否认欲逃沙特 — Polymarket · 2026-10-18
- 网友为离奇的 Hugging Face 入侵事件创作漫画解读 — Flugelwagen · 2026-10-18