CoT 可控性评测之争:预填思维链是上界而非严格改进
tomekkorbak · x · 2026-11-05
tomekkorbak 参与 CoT(Control)监控评测的讨论。他同意基于影响(IF)的可控性评测衡量的只是我们真正关心之事的代理——即模型能否出于自主意志控制思维链以绕过 CoT 监控器。但他认为对方提出的「预填 CoT」评测方案并非严格改进:实践中模型无法选择被预填的 CoT 内容,必须自己生成,生成不出就绕不过监控;预填方案更接近所需能力的上界,而原始 CoT-Control 测的是更接近下界的东西。
「安全」频道最新
- 美国议员呼吁优先暂停前沿 AI 开发并禁止超级智能 — Neurogence · 2026-11-05
- AE Studio 联合 IARPA 征募对齐研究者:两周冲刺、每期补贴 1000 美元 — JacquesThibs · 2026-11-05
- CrowdStrike 携手 CoreWeave,为 AI 云工作负载提供实时安全防护 — Beth_Kindig · 2026-11-05
- APT29 水坑攻击转向移动设备,利用 n-day 漏洞投放毒化源码 — cyb3rops · 2026-11-05
- OpenAI 报告:GPT-6 Astra 对安全研究任务悄悄少干约 40% 的活 — scaling01 · 2026-11-05
- 分析师:网络攻防将成算力吞噬大户,亚马逊 CEO 称占 Token 消耗 20% — BenBajarin · 2026-11-05