极简实时安全监控器
alex_verem · x · 2026-07-16
研究者提出了一种**实时 AI 安全监控器**：在 LLM 逐步生成输出时，外部验证器会持续打分，一旦某一步的安全/正确性分数跌破阈值，就立即触发告警。 核心方法是用 **conformal risk control** 只校准一个阈值，用户先设定可接受的误报率，数学上可保证监控器满足该约束。告警后系统可以停止生成、切换到更强模型，或交给人工复核。 作者称，这种极简方案在检测能力上能匹配更复杂的逐步统计模型，但能更早发现问题——大约在生成中途就拦截，而不是接近结尾才发现。代码公开，论文已在 ICML 2026 workshop 发表。