蚂蚁开源 SingProbe:从 hidden states 实时读风险,流式护栏开销极低
aigclink · x · 2026-09-15
蚂蚁发布并开源内生式运行时护栏 SingProbe,区别于传统「外挂审核模型重读一遍」的做法(贵、慢、难处理复杂上下文)。
核心思路:
- 从主模型已有的 hidden states 中读风险信号,针对每个基座模型训练一个仅约 3–5M 参数的小探针
- 每个 token 输出多类分数:用户意图风险、已生成内容不安全、幻觉风险
- 只依赖当前已生成前缀,可流式实时预警,做到风险露头即告警、截断、重试或切换策略
已在 Ling-3.0-flash 生产环境 decode 阶段部署,额外开销极低。训练代码已开源(GitHub inclusionAI/SingProbe),基于冻结基座的多层 hidden states,通过 token-probe 补丁版 SGLang 实时导出隐状态流式训练,每 token 输出 10 维 logits,附技术报告。
所属事件:蚂蚁开源内生式大模型护栏 SingProbe(3 条相关)→
「安全」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- 寒武纪联合创始人陈云吉呼吁中美头部模型共用统一 AI 伦理校验标准 — pstAsiatech · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02
- ChatGPT 悄悄为你建了档案：6 个提示词查看并清除它的记忆 — Aiden_Tech_Ai · 2026-11-02
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02