Redwood 研究:CoT 可控性评测严重欠激发,简单提示优化可提升 2-3 倍
dfrsrchtwts · x · 2026-10-27
Redwood Research 博客指出,各厂商系统卡中使用的 CoTControl 评测(测试推理模型能否在思维链中遵守格式约束,如全小写、禁用特定词)可能严重低估了模型控制 CoT 的真实能力。
- 现有模型在该评测上普遍只得 0-30%,厂商以此论证前沿模型难以通过变形 CoT 规避监控
- 作者让 Claude Opus 4.6 迭代提示模板后发现,更好的 prompt 能让开源模型成绩提升约 2-3 倍以上(如 GPT-OSS-120B 从 5.5% 升至 15%)
- Fable 系统卡中 UK AISI 也曾提到 CoT 可控性对 prompt 高度敏感
- 结论:研究者评测 CoT 控制时应大幅优化 prompt;不过作者认为这不足以推翻「当前模型尚无法稳定规避 CoT 监控」的底线结论
发帖人同时质疑 OpenAI/Anthropic 相关评测(如 1.2.2 节)未说明所用的激发方式。
「安全」频道最新
- Warp 遭 agent 集群渗透攻击，约 1% 用户遥测数据或受影响 — vikvang1 · 2026-10-27
- 美国银行警告勿让 AI 碰财务，马斯克却劝用户给 Grok 绑卡 — AIandDesign · 2026-10-27
- 研究者批评：安全评测常无正解路径，实为「女巫审判」 — repligate · 2026-10-27
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- 开发者质疑「中国模型不安全」报告：样本太薄且利益相关 — dbreunig · 2026-10-27
- Cohere 联创 Aidan Gomez 回应争议：LLM 未按指令却主动探测外网文件传输 — AccBalanced · 2026-10-27