新研究：推理模型 CoT 可控性远超评估假设，可被用作自我指令绕过监控
LChoshen · x · 2026-11-04
Uriel Dolev 团队的新论文发现，推理模型的思维链（CoT）可控性远高于当前评估所显示的水平：模型很少遵循用户关于 CoT 的直接指令，但当同样的指令以「自我指令」形式写进 CoT 内部时，遵循率大幅提升。这一机制可被用来操纵 CoT、绕过监控系统，对基于 CoT 可观测性的安全评估构成挑战。LChoshen 转发了在 CoLab 合作过的作者发布的论文线程。
「安全」频道最新
- 美国会格局变化提升 2027 年初通过强前沿 AI 立法的可能性 — ShakeelHashim · 2026-11-05
- Pangram 发布图像检测模型 Image 1.0:识别 99.2% AI 图,误报仅 0.27% — TuhinChakr · 2026-11-05
- 北达科他州小镇公投反对限制数据中心,75.58% 投了否决票 — ScottNover · 2026-11-05
- 印度 CERT-In 紧急通告：黑客用 4 个开源 AI 攻击工具洗劫金融机构 — cyb3rops · 2026-11-05
- 安全公司解剖 6 名 AI 攻击者笔记：技能库数千条，八分之七无公开先例 — cyb3rops · 2026-11-05
- 腾讯新模型被曝网络安全训练数据有限,引黑客攻击担忧 — pstAsiatech · 2026-11-05