蚂蚁开源大模型内生安全护栏SingProbe,解码开销低于0.5%
智东西 · wechat · 2026-09-16
蚂蚁 AI 安全实验室在国家网络安全宣传周开源大模型内生式安全护栏 SingProbe,同步开放代码、模型和流式安全评测基准 SingStreamBench。
- 原理:运行时探针复用大模型推理过程中的内部信息,实时输出用户意图、回答安全和幻觉风险分数,无需等整段回答生成即可告警、中止或重新生成
- 已适配 Ling-3.0 系列、GLM-5.2/5.3、Qwen、DeepSeek V4 等 29 个主流开源大模型,接入 SGLang、vLLM 推理框架
- 实测解码阶段额外开销低于 0.5%;flash 版在回答安全分类与流式检测上超过公开基线
- SingStreamBench 关注风险「何时出现、何时被发现」,考察过早触发与发现及时性
- 场景验证 SingProbe-Med 按需纠偏,在 AntAngelMed-100B 评测中可纠正基线模型 25.03% 的出错回答
所属事件:蚂蚁开源内生式大模型护栏 SingProbe(3 条相关)→
「安全」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- 寒武纪联合创始人陈云吉呼吁中美头部模型共用统一 AI 伦理校验标准 — pstAsiatech · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02
- ChatGPT 悄悄为你建了档案：6 个提示词查看并清除它的记忆 — Aiden_Tech_Ai · 2026-11-02
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02