《深度强化学习实战》作者：RL 的 loss 是假的，无物理意义
burkov · x · 2026-11-02
Burkov 预告自己的新深度 RL 书籍，并晒出一段样张，展示书中「诚实」的讲法：策略梯度里的 loss 并非监督学习意义上的误差度量，「完全没有物理意义」，只是一个刻意构造的函数，其导数恰好给出想要的策略更新方向（surrogate loss）。样张用 reward-to-go 推导演示了如何借 PyTorch 的 SGD 实现「假 loss」完成梯度上升。
「研究」频道最新
- AB-Attention 免训练稀疏注意力,视频生成最高提速 2.23 倍 — bdsqlsz · 2026-11-02
- SemiAnalysis 推出法律领域 benchmark,考察能力与工具调用 — nirmal_dist · 2026-11-02
- 仅调 0.001% 权重让 Gemma 3 270M 排序正确率从 1% 升至 97% — dejanseo · 2026-11-02
- SemiAnalysis 发布 GDPx 基准：最强模型 Claude Opus 5.5 仅得 12% — zephyr_z9 · 2026-11-02
- 并行语言模型 PLM:一次前向生成多个一致 token,突破自回归延迟瓶颈 — burkov · 2026-11-02
- UnEZ 论文：无监督训练、隐空间直接可解释的神经网络 — hahahahaha369 · 2026-11-02