Meta 发布 SPoT：答案后再思考
Meta AI 研究团队（作者含 Jason Weston、Olga Golovneva、Ellen Xiaoqing Tan 等）发布 Self-Improving Post-Thinking（SPoT）方法：教模型在给出答案之后再生成一段批判性推理轨迹（post-thinking）并给出裁决，以解决 LLM 输出不安全、错误或过度自信答案却不自知的问题。论文 arXiv 2601.21343（第 3 章涵盖 post-thinking）、官方博客及 Jason Weston 的推文线程均已上线。
已确认
- 安全：跨 5 个 benchmark，生成安全性较基座模型提升 17.7pp；用自评做 self-selection 再提升 3.6pp
- 推理：跨 4 个数学 benchmark 提升 4.7pp
- 校准：通过 RL 以 Brier score 为奖励训练模型预测答案正确概率，置信度估计 AUROC 从 0.61 升至 0.84，selective accuracy 从 79% 提升，模型学会在不确定时弃答
- 训练方式：通过 SFT 蒸馏或 RL 联合训练答案生成与自我判断能力
- 泛化：仅在可回答的数学题上训练，SPoT 也提升了模型对不可回答问题的弃答能力，并泛化到数学域之外（BBQ、MoralChoice、GPQA-D、MediQ 等域外 AUROC 明显提升）
为什么重要
SPoT 把「自我批判与置信度估计」内化为可训练能力，而非事后补丁，同时改善安全性、推理与校准三方面表现；其从数学域训练泛化到域外不可答问题的能力，显示该方法有望提升模型在开放场景下的可靠性与自知之明。
2026-11-12 ~ 2026-11-12 · 7 条相关
一手来源
- Meta 团队发布 SPoT 后思考方法：安全+17.7pp，数学推理全面提升 — polkirichenko ·
- SPoT 实验数据：5 个安全基准提升 17.7pp，4 个数学基准提升 4.7pp — polkirichenko ·
- SPoT 论文《Self-Improving Training & Thinking》全文与博客上线 — polkirichenko ·
- Meta FAIR 提出 SPoT:让模型输出后再自评,安全基准平均提升 21.3 分 — jaseweston · 2026-11-10
- 【源头】Meta 团队发布 SPoT 后思考方法：安全+17.7pp，数学推理全面提升 — polkirichenko · 2026-11-12
- SPoT 方法拆解：答案生成与自我判断如何联合训练 — polkirichenko · 2026-11-12
- 【源头】SPoT 实验数据：5 个安全基准提升 17.7pp，4 个数学基准提升 4.7pp — polkirichenko · 2026-11-12
- SPoT 校准实验：AUROC 从 0.61 升至 0.84，学会不确定时弃答 — polkirichenko · 2026-11-12
- SPoT 意外收获：只在可解数学题上训练，也能识别域外不可答问题 — polkirichenko · 2026-11-12
- 【源头】SPoT 论文《Self-Improving Training & Thinking》全文与博客上线 — polkirichenko · 2026-11-12