作者以「Q* 已破解」自嘲式发帖,推出免 Critic 智能体 RL 方法 KLPO
inductionheads · x · 2026-09-21
Yifan Zhang 发布新论文与开源仓库 KLPO(KL-Regularized Policy Optimization for Critic-Free Agentic RL),标题用「Q has been solved」「RL 科学的盛大终章」等夸张措辞,带有明显的圈内自嘲/梗意味,但方法本身是正经的:
- FlashREINFORCE / KLPO:面向智能体语言模型的免 Critic(critic-free)、单 rollout、异步强化学习方法
- 主张强化学习就该用 REINFORCE:超智能应从经验中学习
- 默认实现为 token 回归 + Monte Carlo KL(MC-KL):用终止奖励提供反馈,在已访问前缀处做独立辅助 token 采样来估计 score 校正,无需同 prompt 响应组、也无需学习价值或归一化模型
- 每 prompt 只需一条完整响应即可训练
代码在 GitHub 开源(yifanzhang-pro/KLPO),附技术报告与训练指南。
所属事件:KLPO 发布宣称解决 Q*，自封终章遭群嘲(4 条相关)→
「研究」频道最新
- 架构对比研究引猜想:某架构在多跳规划上出现监测性异常尖峰 — ChowdhuryNeil · 2026-11-12
- LMSYS Megakernel 把 Muse Spark 解码提速到 1109 tok/s，2.1 倍于基线 — hsu_byron · 2026-11-12
- ArcGrav 提出跨模型 Agent 控制语言，用结构化 prompt 降 token 开销 — ArchitecturalGravity · 2026-11-12
- 90 条演示数据训练,开源双臂机器人玩拼图成功率约 60% — DanGrover · 2026-11-12
- FutureHouse 打造 deslopper：Kosmos 报告可读性逼真专家手笔 — proteinrosh · 2026-11-12
- AI 会大幅减少生物实验?反驳:未映射的信号通路仍需湿实验证伪 — francoisfleuret · 2026-11-12