2026-09-21
DeepMind 四人组提出 Reward-is-Enough：感知、语言、社交等能力都可理解为在环境里最大化同一个标量奖励，强 RL 智能体或可通向 AGI。
主流做法是给智能的每一种能力单独立项：感知做物体识别，语言做下一个词预测或句法分析，社交做专门的博弈目标。这条路在单点上进展很快，拼成一个主体却很难。Silver、Singh、Precup、Sutton 把问题反过来问：会不会只需要一个问题形式，就是在环境里最大化标量奖励？这是一篇立场论文，没有新算法，也没有实验，发表在 Artificial Intelligence 2021 年第 299 卷。出版商站对本机 IP 封锁，正文依据摘要、论文自己的 Figure 1 及其图注，以及文中被公开引用的松鼠与厨房机器人两段。
方法就是一个假说加思想实验。Reward-is-Enough 的表述是：智能及其相关能力，都可以理解为一个智能体在环境中最大化奖励。他们强调，这可能对许多简单奖励、许多环境都成立，不要求奖励本身编码每一种能力。
两个贯穿全文的例子写在 Figure 1 里。松鼠最大化的是饱食（负饥饿）。为了少饿，松鼠脑子大概需要：感知（认出好坚果）、知识（理解坚果）、运动控制（去捡）、规划（藏在哪）、记忆（藏过的位置）、社交智能（对藏点说谎）。厨房机器人最大化清洁度。为了把厨房保持干净，它大概需要感知（区分干净和脏的餐具）、知识、运动、记忆（东西放哪）、语言（从对话预判即将出现的脏乱）、社交（劝小孩少折腾）。每一种看起来独立的能力，都被写成同一个标量目标的工具。
对照是「每种能力一个目标」。围棋研究曾经分别攻形状识别、局部搜索、残局组合；AlphaGo 只最大化胜场，形状、战术、领地、攻防被装进同一个智能体。语言建模的下一个词目标能撑起流畅文本，但语言还缠在动作和观察里，有目的、有场合的对话可能要从一个共用的奖励里长出来，而不是从语料的似然里长出来。
监督信号对准的是教师的环境和目标；无监督不给动作选择提供目标，而且世界可能复杂到没有目标就无法选择该建模什么；离线大数据集比真实世界小得多。自然智能来自最大化繁殖适应度，人工系统面对的目标集合可以更宽，但形式仍可以是一个标量。
没有表格，没有基准分数。可检验的主张就两条。
第一条，能力是工具性的：感知、学习、知识、社交、语言、泛化、模仿，都可以作为「在这个环境里把奖励做大」的副产品出现，不必各自定义损失。第二条，试错经验上最大化奖励的智能体，有可能表现出其中大多数甚至全部能力，因此够强的强化学习智能体可以构成通向 AGI 的一条解。环境要够富：自然世界算；多数当前 RL 环境明确不算。
假说是存在性的。它不保证你随便写一个奖励就能长出语言，只说存在足够丰富的环境和足够强的学习器时，单一奖励可以成为公共目标。
2021 年正是「每个能力一个基准、一个损失」最兴盛的时候，四人组把 RL 从算法清单提升成对智能的还原。对今天做语言模型后训练的人，这条线很熟：RLHF、RLAIF、可验证奖励上的强化学习，都在拿一个标量去挤出多种行为。这篇把「为什么可以只留一个数」写成了明确假说。
它同时把环境丰富程度推到台前。奖励本身可以很笨，清洁、饥饿、赢棋都行；复杂能力来自环境向智能体提出的问题。实验室里的网格世界、Atari、固定语料，承担不了这个假说，不奇怪。
立场文，零实验。厨房机器人和松鼠是叙事，不是数据。「足够丰富」没有操作化定义，假说几乎无法证伪：失败了可以怪环境不够富或学习器不够强。标量假设后来被 Vamplew 等人专门反驳，冲突目标、安全与对齐很难压成一个数而不丢信息。奖励从哪来、谁来设，正文当作可解决的设计问题，Abel 等人后来讨论过可学奖励，那已经超出这篇。把进化适应度和个体寿命内的多巴胺式 RL 揉在同一个「奖励」里，批评者认为偷换了时间尺度。出版商 PDF 未完整取到，后半关于反对意见的逐条回应，解读没有逐页核对。