NeurIPS 论文:LLM 隐状态中存在类脑「价值神经元」与「多巴胺神经元」
james_y_zou · x · 2026-11-17
一篇 NeurIPS 2026 论文研究了 LLM 是否存在类似大脑的奖励系统。此前工作多用黑箱探针拟合完整隐状态,难以说明奖励信息如何组织;该研究发现奖励信号其实集中在少量稀疏神经元中:
- 价值神经元(Value neurons):编码当前状态价值,可预测答题成功率轨迹,并可用于置信度预测;
- 多巴胺神经元(Dopamine neurons):编码步级 TD 误差,在关键步骤出现峰值、在逻辑缺陷处出现谷值;
- 应用上,多巴胺神经元可用于过程奖励模型(PRM),对候选步骤打分并引导搜索。
作者将 LLM 隐状态中的稀疏神经元子集与大脑 OFC/VTA/SNc 区的价值与多巴胺神经元作类比。
「研究」频道最新
- 最大浏览器 Agent 基准 WebArena-Pro 发布,最佳成绩仅 62.3% — xhluca · 2026-11-17
- NeurIPS 2026 论文:RL 学到的单技能难以组合成复杂推理 — StanfordAILab · 2026-11-17
- OpenAI 研究警告:模型越强,思维链将越难被监控 — gleech · 2026-11-17
- 新预印本统一多基因与单基因范式,用纵向EHR做个性化疾病风险分层 — anshulkundaje · 2026-11-17
- ICLR 作者吐槽:审稿像在讨好 Agent 而非人类研究者 — murat_kocaoglu_ · 2026-11-17
- NVIDIA 开源 LidarVerse:单一世界模型实时模拟任意视角 LiDAR 扫描 — NVIDIAAI · 2026-11-17