TAIS 2026 安全圆桌：更长的思维链反而更易被越狱

GaryMarcus · x · 2026-10-19

TAIS 2026 大会组织了一场 AI 安全专题讨论，参与嘉宾包括 Gary Marcus（NYU）、Victoria Krakovna（Google DeepMind/FLI）、Andrei Krutikov（Noeon Research）和 Fazl Barez（牛津大学），由 Blaine Rogers 主持。

讨论覆盖推理模型带来的安全挑战：为何推理能力对泛化到训练数据之外很重要；随着模型成为更好的长期规划者，欺骗（scheming）风险会如何演变；以及一个反直觉发现——更长的思维链可能让模型更容易被越狱而非更安全（即「思维链劫持」）。嘉宾还质疑当今的安全研究是否过度围绕 Transformer LLM 构建。