语音 Agent 要跨轮次、口音和音频攻击做红队测试

Future_AGI · reddit · 2026-07-24

这篇帖子讨论的是语音 Agent 的红队测试方法：为什么它比普通聊天机器人更难守，以及上线前该怎么做安全评估。

作者指出，音频本身就是攻击面：攻击者可以把 jailbreak 藏进背景噪音里，用 TTS 传入 prompt injection，或者利用 ASR 在测试和生产中的差异绕过防护。
文中给出一套上线前基线：8 类攻击 × 50 个 persona × 3 个严重级别 = 1,200 次红队呼叫。按典型语音栈每分钟约 $0.10、每通话 1 分钟估算，总成本大约 $120，远低于一次失败上线的代价。
它特别强调两点：
跨多轮测试，不要在第一次拒绝后就判定安全，因为很多攻击会在对话中逐步施压。
覆盖真实口音和噪声环境，仅靠 transcript 检查会漏掉很多问题。
文章还建议采用两级 guardrail：每轮先做一个很快的二分类检查，再对命中的样本做更深度扫描；每次生产事故都应回流成下一轮新的红队场景。

「安全」频道最新