从零学强化学习系列：Dueling DQN 原理、直觉与可跑代码
East-Muffin-6472 · reddit · 2026-11-10
作者继续「RL From Scratch」系列，发布 Dueling DQN 学习笔记，回答它相对 Double DQN 和经典 DQN 的 what/why/how：
- 是什么：同为 off-policy、model-free、value-based 方法，只改了 Q-Network 最后一层架构，主要为了优化效率
- 核心问题：真的需要对每个状态下的每个动作都算 Q(s,a) 吗？以高速行驶的汽车为例，状态本身的价值（路况、方向盘）可能远比单个动作值重要——尤其前方有墙时
- 关键概念：Advantage（某动作相对该状态平均动作好多少，A(s,a)=Q(s,a)−V(s)）、可辨识性问题、双头结构（trunk 共享 + value 头与 advantage 头）、聚合规则 Q=V+A−mean A
- 笔记配套理论推导、代码与数学、以及一个可实时训练 agent 的 playground
适合想建立直觉的入门读者。
「研究」频道最新
- 南大 Reframe 框架对齐视觉智能体观察状态，超越 Mix-RL 与原版 MOPD — NJU · 2026-11-10
- Spatial Harness 用物理引擎可执行场景给 VLM 空间推理「落地」 — TMLR-Group-HF · 2026-11-10
- InstantHMR 手机 NPU 上 5.5ms 实时恢复 3D 人体网格，比同类快 12 倍 — naturalpad · 2026-11-10
- 360 次实测：代码知识图谱对编程 Agent 无明显准确率提升 — JeremyCMorgan · 2026-11-10
- banteg 上线 Sokoban 推箱子评测 — banteg · 2026-11-10
- 微软颁专利奖：可删除用户代理实现 LLM 隐私保护个性化 — SchoeneggerPhil · 2026-11-10