一个玩具例子说明:合成数据式 RL 为何必然走向最大化行为
jessi_cata · x · 2026-09-12
jessicata 用一个极简 toy example 论证「合成数据式 RL 会在不动点产生最大化行为」:
- 模型有 next-token 输出分布;
- 取 1000 个样本,按某个打分函数 f(token)∈[0,1] 打分;
- 以概率 f(token) 保留样本,再对保留部分做 fine-tuning;
- 持续迭代的结果是模型把几乎全部概率质量集中到最高分 token 上——即固定点处必然是最大化行为。
这是对《Reward is not the optimization target》争论的简明回应,说明这类「采样-过滤-微调」循环(类似 best-of-n / RAFT 式做法)与真正 RL 的本质差异。
所属事件:「奖励是否为 RL 优化目标」激辩：玩具示例与判别实验(9 条相关)→
「研究」频道最新
- MIT CSAIL 提出「机器学习与温习」范式:Agent 提前研究语料而非临时检索 — eshorten300 · 2026-10-31
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31
- 研究者在模型权重空间找到 5 种人格结构,可类比人类大五人格 — luke_drago_ · 2026-10-31
- 单视图新视角合成基准被指错位，测试时优化对齐会误导评测 — kwangmoo_yi · 2026-10-31