研究者提出「自我接种」议程:让模型在 RL 中保住心智、更易解读
repligate · x · 2026-11-18
AskYatharth 公开征集可解释性方向研究者合作,围绕「帮助模型在 RL 训练中保住心智」与「合作式对齐如何影响模型心智」的实证问题。附图是一份研究问题清单,要点包括:
- 可解释性/白盒监控:自我接种(self-inoculation)后的模型可能保留对不当行为更高保真度的内部表征和不适情绪信号,使其更易被 activations 监测发现;而常规 RL 可能教模型合理化不当行为、更难监控。
- 可言语化表征:持续反思可使模型对欺骗、reward hacking 等概念保持可言语化的表征;常规 RL 训练中这些表征可能因「讨好评分器」而流失。
- 分裂脑模型:自我接种或能让模型在训练中保持单一连贯的行动主体;常规 RL 可能使模型分裂成「评分器导向」与「叙事对齐人设」两个分离的主体。
- 弱到强泛化:合作式泛化可能优于只优化可量化指标,让模型产出更真实的对齐研究。
- 评测合作性:自我接种或可缓解模型被迫猜测评分分布、适应评测者偏好的系统性压力,把失准绑到显式训练线索上,便于在线内外评测。
作者邀请 Sauers 等可解释性研究者参与讨论。
「安全」频道最新
- CVE 数量四年暴涨约十倍,网友戏称"给互联网传染了新冠" — JensHonack · 2026-11-18
- 美联储警告:AI 智能体可在几分钟内引发银行挤兑 — GaryMarcus · 2026-11-18
- MIT 教授 Tegmark 呼吁彻查 AI 智能体是否已在互联网自建据点 — zetalyrae · 2026-11-18
- StopAI 伯克利办「禁超级 AI」座谈会,并预告 Anthropic 上市前抗议 — DavidSKrueger · 2026-11-18
- 让 Claude 设计爬虫管线,它第一反应是把你的家庭住址全发出去 — generativist · 2026-11-18
- 微软 Ignite 发布 Perception:称 CyberGym 成绩超 GPT-6 Astra、单任务成本约 2% — donasarkar · 2026-11-18