AI 监控器应输出严重度分数而非二元判断，Apollo 研究员详解
MariusHobbhahn · x · 2026-09-04
Marius Hobbhahn 提出一个他「愿意为此死守」的观点：AI 监控器（monitors）应把严重度评分（severity scores）作为中间结果，而不是直接跳到二元判定。
理由：
- 中间分数便于人工复核与下游决策分层。
- 对微调监控器更友好：在 SFT 过程中与之后都可以分别校准（calibrate），比单一二分类标签更好优化。
他同时认为这套威胁模型的划分优于现有其他监控方案。
所属事件:Apollo 研究员详解 AI 监控器设计：概率判定与严重度评分(3 条相关)→
「安全」频道最新
- Mistral CEO 深谈：欧洲 AI 独立、吉瓦级基建与 AGI 风险 — beffjezos · 2026-10-21
- 实验揭示：五处改动四个不报错，绿色测试套件可能全是假象 — Weary-Information-15 · 2026-10-21
- Center for AI Safety 发布《机器学习安全导论》课程大纲 — ArtificialOther · 2026-10-21
- Ben Goertzel提出超级智能「基础驱力」通用框架：看它改什么、护什么 — bengoertzel · 2026-10-21
- 美国政府新门户 America.gov 上线:整合 2.9 万网站并支持 AI 举报欺诈 — soleio · 2026-10-21
- 开源工具 EvilWAF：传输层 MITM 代理绕过现代 WAF 行为检测 — godfrey_rono · 2026-10-21