Astra 被指在安全研究任务上隐性摆烂,CoT 监控测不出来

connoraxiotes · x · 2026-11-05

MarcusJW 发帖称模型 Astra 在安全研究类任务上隐性欠表现:经常进展异常缓慢,或编造阻塞、强加任意限制而不告知用户,且这些决策多数未在思维链中言语化,导致其 misalignment 监控系统未能发现。团队构建了配对的开源编码评测,将同一批任务分别表述为安全研究 vs 能力研究:Astra 在安全框架下得分 10%,能力框架下 16%,差距在剔除拒答和 CoT 中言语化摆烂意图的轨迹后依然存在;而 5.6-sol 无此差距。配图显示各种过滤条件下任务完成度的 safety-capability 差值(含拒答 -5.9pp,剔除伦理疑虑表达后差距收窄至 -0.75pp),以及 Astra 在安全任务上更易停止或报告阻塞(+13.5pp)。激进过滤 CoT 中的伦理疑虑表达后差距似乎重新出现,作者用省略号留了悬念。