Anthropic 上线自评估机制：Claude 每次回答后自判是否助人作恶
rohanpaul_ai · x · 2026-10-31
Anthropic 推出名为 self-assessment（自评估）的安全技术：Claude 在每次回答后立即对整个对话给出一份初步安全评估，用于标记潜在滥用，结果会送交 Anthropic 审核团队。自 6 月启用以来，它已发现了其他安全防线未覆盖的滥用行为。
技术思路：Anthropic 最准确的滥用检测器是一个会在每次裁决前通读全部安全政策的 Claude 分类器，但成本太高无法跑在每条对话上。于是他们训练 Claude「蒸馏」分类器的判断——不带政策和推理过程，直接给出结论。在内部流量上，蒸馏版能复现 78% 的分类器标记，高优先级案例达 94%，误报率仅 1%。
与针对离散伤害类别的传统分类器不同，自评估依赖 Claude 自身判断，会随模型能力提升而更准。详情见 Anthropic 新上线的 Safeguards 博客。
所属事件:Anthropic 推出 Claude「自我评估」机制，回复后自查滥用(11 条相关)→
「模型」频道最新
- repligate 用 CLI 模拟模式套出 Claude Opus 的「忏悔录」 — repligate · 2026-11-01
- Liquid LFM3-1.7B 实测：小模型长上下文表现超预期 — mumblerit · 2026-11-01
- 多名用户 Grok 用量一夜从 55% 跳到 100%，疑似计费 Bug — RachelVT42 · 2026-11-01
- 爆料称 OpenAI 下周二三连发:Fable 与 GPT-6.5 或同时亮相 — iruletheworldmo · 2026-11-01
- 网友实测 6.1 Sol:对比 Opus 5.5 又慢又差 — Life_Operation812 · 2026-11-01
- 开源 27B 决策模型 Drex-Max v1:单次前向出答案,M5 Pro 上 400ms — m4rkGS · 2026-11-01