Redwood 提议公司披露无 CoT 架构,守住 AI 可监控性底线
RyanGreenblatt · x · 2026-09-11
Redwood Research 发布提案,回应 AI 架构演进对可监控性的威胁,由 Ryan Greenblatt 等人背书讨论。
- 核心担忧:若架构让模型改在不可读的激活值里思考(所谓「neuralese」),或干脆移除思维链(CoT),外部将失去监控模型推理的主要抓手。
- 具体案例:作者认为基于有限公开证据,Google 的 Astra 是朝这个方向迈出的令人担忧的一步——但公开信息不足以支撑一场有依据的科学讨论,无法判断其在「可监控性 vs 性能」上的取舍是否合理。
- 提案内容:呼吁公司披露无 CoT 推理能力、其他可监控性证据,并公开其维护可监控性的政策,让公众讨论有据可依。
这是安全研究领域少见的、针对具体产品架构提出的透明化框架。
所属事件:Redwood 提案：披露无 CoT 架构，守住 AI 可监控性(5 条相关)→
「安全」频道最新
- 前 DOGE 网络研究员用 AI 代理 12 小时内攻入 Anthropic 内部系统 — ScottNover · 2026-10-26
- 英国 Ofcom 承认在线安全法未能保护儿童，推进九个月遭批 — gnukeith · 2026-10-26
- Sakana AI 社长伊藤炼提议：日美共建 AI 能力评估共同框架 — SakanaAILabs · 2026-10-26
- Gary Marcus 呼吁立法禁用语音克隆:诈骗危害远大于收益 — GaryMarcus · 2026-10-26
- PyTorch backward 可运行图灵完备恶意代码：浮点精度漏洞被实锤 — retr0jirachi · 2026-10-26
- Import AI 478：10 万美元自动形式化数学、ProgramBench 从 0% 到 18.5%、agent 用 CPU 缓存泄密 — Import AI (Jack Clark) · 2026-10-26