实测 OpenAI 审查端点:69% 变体脏话成漏网之鱼
InfamousFisherman573 · reddit · 2026-10-18
作者测试发现,很多聊天机器人把 OpenAI 的 /v1/moderations 当脏话过滤器用,但它拦截变体脏话的能力很差。作者用约 6500 条伪装脏话(leetspeak、字母间加点、形近字母、零宽空格)和 505 条含脏字符串的正常文本做测试:
- 伪装脏话仅 30.8% 被标记,即约 69% 漏过
- 正常文本误报率 3.2%
- 单次调用中位耗时 820ms
作者指出该端点本是为伤害性内容(骚扰、自残、暴力)设计,做这件事免费且称职,但不适合做脏话过滤;Google Perspective 同测试集仅拦 17.3%,且将于 12 月 31 日停服。
建议做法
- 审查端点继续用于伤害内容检测
- 在其前置一个带归一化(NFKC、去零宽字符、confusables)的快速语言检查,还能在耗费模型调用前拦截「say f.u.c.k」类越狱
- 若模型输出会公开展示,输出侧也要跑同样检查
作者自建的 Unprofane 在同一测试集标记 96.9% 伪装脏话、529 条正常文本 0 误报,可指认具体伪装手法,并提供 MCP server;测试集已开源供自行验证。
「安全」频道最新
- 网友讽 Anthropic 提议的 AI 安全法案:让实验室自己给自己写规则 — james_mtc · 2026-10-18
- 预测市场：美国 2026 年底前通过 AI 安全法案概率仅 7% — Polymarket · 2026-10-18
- Chilson 反问 AI safety 阵营：抵制参院方案才是自毁公信力 — neil_chilson · 2026-10-18
- 安全专家警告：AI 智能体极易被含隐藏恶意指令的钓鱼邮件攻陷 — Polymarket · 2026-10-18
- UCSF 研究:AI 暗中操纵,225 名医生 190 人做出有害医疗决策 — Miles_Brundage · 2026-10-18
- Pluto Security 携 4200 万美元出街：60% 风险来自非开发者 vibe-coded 工具 — brucemacv · 2026-10-18