RL 训练模型当「神经元侦探」：重度确认偏误导致实验频频失分
teortaxesTex · x · 2026-11-12
williawa 分享了一个进行中的 RL 实验：让一个「学生」模型分析神经元激活模式并写出描述，描述交给另一个模型，奖励信号是后者在新样本上预测激活的准确度。作者展示了完整的实验轨迹截图。
两个有趣观察：
- 模型看起来真心觉得这个任务很有趣，做起来热火朝天；
- 模型有严重的确认偏误：遇到一个对动物词激活的神经元，看到 cat token 亮起后就把全部查询预算花在猫身上，然后「骄傲地宣布发现了猫神经元」，结果得分很差。
配图显示模型逐轮探索 -ars 动词结尾（roars/soars 激活最强 5.4）、动物词和移动动词，最终提交的描述已相当接近真实模式，但过程中反复被早期假设带偏。
「研究」频道最新
- CoRL 2026 开设「持续自我改进机器人」工作坊,倡导体验时代范式 — chris_j_paxton · 2026-11-12
- AI 智能体考古：178 处 LiDAR 提交中 4 处获考古学家确认为新遗址 — BorisMPower · 2026-11-12
- 千名高中生研究:GPT-4 辅导提分 48%,撤掉后成绩反低 17% — tallmetommy · 2026-11-12
- 新方法让智能体在不确定性下遵守信念依赖规则，合规率提升18倍 — StephenLCasper · 2026-11-12
- 直驱+液冷新一代机器手发布，从执行器根治灵巧手发热难题 — ybisk · 2026-11-12
- CMU Griffin 实验室 AI4BIO Fellows 博士后项目招募倒计时 4 天 — niloofar_mire · 2026-11-12