从 Bellman 到 GRPO:一张时间线讲清 RL「policy」一词七十年源流
geoffwolfe · x · 2026-10-26
作者以学习笔记形式梳理强化学习中「policy」一词的概念史,配图时间线从词源一路讲到现代 LLM 训练。
- 词源:「policy」14 世纪末进入英语,意为治理的常设规则;1951 年经济学文献已有「最优库存策略」用法
- 1954 年 Bellman 在 RAND 的动态规划中首次正式定义:「决策序列称为 policy」;1960 年 Howard 将其写入算法名(policy iteration);1992 年 Williams 的 REINFORCE 用梯度直接训练 policy;1998 年 Sutton & Barto 教材确立了 π 符号
- 2017 年 Schulman 等提出 PPO,成为深度 RL 主力算法;2024 年 DeepSeekMath 提出 GRPO(以组平均奖励为基线的 PPO 变体),DeepSeek-R1 即基于此训练
- 2019-2022 年 Zieler 等用 PPO 微调 GPT-2 起步、InstructGPT 规模化,「模型即 policy」——七十年后这个词仍指 Bellman 的常设规则
「研究」频道最新
- 2020 年提出的 11 大单细胞挑战至今无一完全解决 — Sauers_ · 2026-10-26
- 实验显示情绪神经元可系统改变模型对歧义新闻的解读 — Sauers_ · 2026-10-26
- MemTensor 开源 MemT-1.0-Nano，基于 Qwen3.6-35B-A3B 做记忆增强 — MemTensor · 2026-10-26
- 数学家拆解 OpenAI 流体奇点论文:用物理不稳定性造出前所未有的光滑外力 — Singularitarian · 2026-10-26
- EMNLP 2026 Findings 论文：让编码 Agent 自主判断何时向人求助 — najoungkim · 2026-10-26
- 新论文：潜学习无需共享基座，偏好也能跨模型隐秘传播 — burny_tech · 2026-10-26