Muse Spark 1.3 安全报告:CoT 可控性评估首次对标四大厂商

tomekkorbak · x · 2026-10-27

DeepMind 研究员 Tommek Korbak 点评 Muse Spark 1.3 评估报告:Meta 加入 OpenAI、Anthropic 和 GDM 的行列,在系统卡中报告思维链(CoT)可控性评测;Muse Spark 1.3 的 CoT 可控性保持低位,意味着其监控规避能力较低。配图 Table 12 显示 GPQA Diamond、HLE text、SWE-bench Verified 上 1.1 与 1.3 的 CoT compliance 均≤0.05,而任务正确率达 0.49–0.93。他同时提出方法论建议:应把 compliance 作为 CoT 长度的函数来报告,否则 compliance 会与 CoT 长度混淆,难以跨模型比较。