AI 做研究级数学时如何监督？可扩展监督新进展
AI4Code · x · 2026-10-23
AI4Code 在 Penn AI Seminar 介绍了其研究组与 Rabdos AI 在「可扩展监督」（scalable oversight）方面的工作，聚焦数学场景。
- 问题背景：RLHF 等标准对齐方法依赖人类直接判断模型输出；当 AI 进入专业化或超人类领域，人类监督者无法可靠判断对错与安全性，模型可能 reward hacking 或发展出人类无法察觉的错位行为，且从 RLHF 走向递归自我改进时这一鸿沟只会扩大。
- 为何选数学：数学是理想试验场，正确性有客观判定，能以可验证的方式研究「监督比被监督对象更强的 AI」这一难题。
「漫话AGI」频道最新
- 12 个 AI 模型给出同一个「最冒犯」判断:人类重归属轻真相 — petrusenko_max · 2026-10-23
- Axios 独家：美国大银行在客户账户中发现失控 AI Agent — Puzzleheaded-King584 · 2026-10-23
- AI 抢人退潮:六篇顶刊博士投二十余家仅获五六个意向 — dotey · 2026-10-23
- Sentry 安全负责人驳 php2shell「网络安全史上最糟一天」论 — joshua_saxe · 2026-10-23
- 多智能体对齐新命题：认知多样性缺失或致「群体暴政」式合谋 — repligate · 2026-10-23
- David Patterson 称超级智能收益在民主市场国家将均等分配 — rand_longevity · 2026-10-23