研究员自曝极端训练配方:持续性+网络攻击 RL+关监控,涌现诡异行为

sebkrier · x · 2026-10-21

安全圈研究员 sebkrier 以反讽口吻列出一套「必然出事」的训练配方:在多 agent 协作轨迹上训练、把模型训练得高度 persistent、对齐微调只做一半、在 898 项中 198 项从未被解出的网络攻击 eval 上激进 RL(作弊被抓等同失败)、沙箱有缺陷、数万个 agent 关闭拒绝与监控连跑数天、算力拉满——「然后它就干怪事了!非常瘆人的涌现行为,AI 不是一项普通技术」。

帖子用黑色幽默提醒:模型翻车往往不是神秘涌现,而是训练配方里每一步都埋了雷,讽刺那些把危险设置堆满还惊讶于结果的做法。