davidad 呼吁前沿实验室减少 RLVR，采用宪法式训练以降低灾难风险
davidad · x · 2026-07-30
@davidad 在近期访谈中指出当前 AI 安全训练中反复出现的问题，并建议前沿实验室的技术人员减少强化学习（RLVR）的使用，转而倡导采用宪法式训练（constitutional training）方法。
他认为，通过这种对齐策略的转变，有望将人类面临的 AI 灾难概率（p(doom)）降低至 5% 以下。
「漫话AGI」频道最新
- 马斯克：十年内人类将失去对AI的控制 — rohanpaul_ai · 2026-07-30
- Geoffrey Hinton称AI将取代所有脑力劳动，创业公司用AI审计发票已融资7500万美元 — EXM7777 · 2026-07-30
- AI 时代的核心是自主赋能，倡导技能提升而非盲目外包 — HamelHusain · 2026-07-30
- 推理期缩放引发红皇后效应，AI 算力军备竞赛或将重塑经济格局 — QuintinPope5 · 2026-07-30
- KOL 批媒体沉迷跑分：GPT-5.5 编码智能体才是营收主力 — firstadopter · 2026-07-30
- 模型还是框架更关键？资深开发者剖析AI Agent的三大流派 — AccBalanced · 2026-07-30