HaloGuard 的对抗训练流程
markjeffrey · x · 2026-07-16
Trishool 介绍了 HaloGuard 背后的持续对抗训练流程： - 每周会选定一个伤害主题，例如暴力、化学武器或非法行为，作为本轮防护挑战。 - 团队围绕该主题构造 12 个攻击问题，专门寻找安全护栏的漏洞。 - 矿工/参与者会在 4 天内实时发起攻击，排行榜每天更新，展示护栏哪里能守住、哪里会失效。 - 成功突破的攻击样本会被整理回流到训练中，Halo 在接下来的 3 天里继续迭代。 - 到第 7 天，护栏应该比第 1 天更强，然后开启下一轮、换一个新主题。 这条的核心是：把安全评测、对抗攻击和再训练做成一个持续循环，用实战样本不断加固模型护栏。