LessWrong 实测:GLM 系列模型思维链可控性远超 Kimi 与 DeepSeek
tomekkorbak · x · 2026-10-27
LessWrong 上的一篇 AI Control 研究用 CoT-Control 评测套件(GPQA、HLE、MMLU-Pro 共 1214 道题 × 9 种思维链控制指令)测试了 Kimi K3、GLM 5/5.1/5.2/5.3、DeepSeek V4.1 Flash 和 V4 Pro,发现 GLM 系列在思维链可控性上是显著离群点,而 Kimi 和 DeepSeek 的 CoT 控制能力很弱;且 GLM-4.5、GLM-4.7 等上一代模型也有同样高的可控性。
- 关键反差:尽管 GLM-5.1 CoT 可控性很高,它在「监视器规避」任务上表现很差——对比之下 GPT-6-Astra 既可控又擅长在被指示时规避监视器
- 风险含义:能控制 CoT 的模型理论上可通过压制相关信息、添加无关信息或改变表述方式来躲避监视
- 作者指出协议差异:沿用 OpenAI 的做法去掉了固定起止短语,并采用此前对 Claude 系列诱发出更高可控性的 UK AISI prompt
原推作者 tomekkorbak 补充了一个疑问:为何本报告测得的 GLM CoT compliance 为 0%,而 Usman Anwar 对同一模型报告为 8.7%,欢迎社区讨论原因。
「模型」频道最新
- 实测 GPT-6.1 Terra 操控 Blender 建 3D 跑车,仅耗 Pro 200 计划 3% 额度 — sandersted · 2026-10-27
- Google DeepMind 高管回复意外确认「Gemini 4」存在 — DeryaTR_ · 2026-10-27
- Gemma 推理提速 2.85 倍:vLLM 上突破每秒 10.8 万 token — patloeber · 2026-10-27
- 用户实测发现 Claude Duet 无凭据存储,无法安全保存 API key — altryne · 2026-10-27
- 医生预告「放射科最后考试 2.1」:医疗模型榜单将被翻转 — DrDatta_AIIMS · 2026-10-27
- Reddit 用户热议:Ming 图像模型被严重低估 — alley103 · 2026-10-27