DecisionRobust 基准:评测 30 个决策模型抗 prompt 注入与扰动能力
Yifan Lan · hf · 2026-10-15
宾州州立大学团队发布 DecisionRobust 基准,系统评测 JEV 类决策模型在文本与视觉输入下遭对抗操纵时的可靠性。覆盖语义保持文本扰动、图像扰动及双模态 prompt 注入等攻击,评测 30 个文本模型配置与 17 个视觉模型配置(含 24/12 个 held-out 模型)。
关键发现:
- 攻击可泛化到构建模型之外的模型,但优化的图像扰动迁移性较弱
- 模型相对鲁棒性随任务与攻击类型变化;抗输入扰动不等于抗 prompt 注入
- 标签一致性校验可大幅降低表观攻击成功率,凸显验证「失败」真实性的重要性
基准已开源。
「研究」频道最新
- 亚马逊团队开源 Rufus-Air：400 块 H200 复现完整后训练流程 — JingfengY · 2026-10-15
- Snorkel 发布 Frontier Data Summit 主题演讲：AI 数据进入研究时代 — ajratner · 2026-10-15
- 异方差 Student-t 回归追平扩散策略,机器人学习无需生成模型 — YouJiacheng · 2026-10-15
- Handwired：把普通 JS 代码零训练变成可微分神经网络 — charliermarsh · 2026-10-15
- 儿童安全基准 KORA 上 model card,Mistral 从垫底冲到第 10 — GregKamradt · 2026-10-15
- Mercor 绘制美国经济 AI 基准地图:90% 工时无基准覆盖 — evijit · 2026-10-15