Redwood 提出可操作指标:量化模型「不透明串行深度」
akbirthko · x · 2026-10-21
Redwood Research 发布博客文章《An operationalization of opaque serial depth》,作者包括 Nathan Sheffield、Ryan Greenblatt 等。
- 背景:思维链(CoT)目前是监督 AI 模型的重要工具,但某些架构演变会显著降低 CoT 的可监控性。Redwood 此前提议 AI 公司应透明披露其架构允许潜在推理(latent reasoning)的程度。
- 本文将 GDM(Brown-Cohen et al., 2026)提出的「不透明串行深度」概念操作化:计算图中不经过「可解释瓶颈」的最长路径,即为该计算的不透明串行深度。若把 CoT token 视为可解释、transformer 隐藏状态视为不可解释,标准 transformer 的不透明串行深度正比于层数。
- 核心贡献:给出「可解释瓶颈」的具体判定标准——节点须输出文本(而非潜在状态)且由预训练先验初始化,并定义为「自然语言根节点(NL-rooted nodes)」。该指标可作为模型能进行多少未言语化串行认知的代理度量。
「安全」频道最新
- Anthropic 发布 Cyber Mission:保护电网与开源软件安全 — inductionheads · 2026-10-23
- FAS 推出 Metascience Fellowship：年薪 17.4 万美元进驻 DOE 影响科研政策 — Afinetheorem · 2026-10-23
- 佛州总检察长请求法院叫停 OpenAI 未经第三方审批训练新模型 — imjustnewatai · 2026-10-23
- OpenAI 将参加 Prompt2PWN AI 黑客大会，与研究者面对面找漏洞 — OpenAIDevs · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Chamath：银行将率先用服务条款封杀 AI Agent — nicolechirps · 2026-10-23