新论文修补对比强化学习盲区：用1比特失败信号重加权InfoNCE
kastnerkyle · x · 2026-09-06
一篇被推荐的对比强化学习（CRL）新论文指出了一个长期被忽视的盲点：InfoNCE 只从存活步骤采样正样本对，完全忽略了失败终止带来的缺失概率质量，导致 critic 在死亡陷阱附近过度乐观，诱使 agent 在临死前做出鲁莽动作。
- 作者没有采用杂乱的安全奖励 hack，而是利用基础的 1 比特失败信号对 InfoNCE 重加权，把存活概率质量折回策略更新
- 在全部 12 个任务基准上，简单 Point/Car 环境下与基线相近，但一旦加入危险区，Ant 和 Humanoid pitfall 任务上差距巨大
转发者认为这解决了困扰许多研究者的对比 RL 难题。
「研究」频道最新
- ExCAM 论文:检测 LLM 文化错误,准确率达 80% — prajdabre · 2026-10-25
- EMNLP 2026 三篇论文:向量合并优于数据混合等 — prajdabre · 2026-10-25
- MIT 团队打造 AI 引擎,为 Long COVID 等隐性疾病匹配检测设备部署点 — ahandvanish · 2026-10-25
- 实侧数据打脸 scaling 信徒:AI 药物结合模拟准确率仅 49% — citrini · 2026-10-25
- 开源 DNA 模型 Carbon-X：基因组任务逼近旗舰模型，推理成本仅 1/1800 — aigclink · 2026-10-25
- 293B 记忆原生 MoE MemT 1.0 开源：记忆写进前向传播内部 — AKAMA199 · 2026-10-25