PPO 微调让 LLM 输出分布越练越尖，GFlowNet 目标可保均匀分布
kastnerkyle · x · 2026-10-15
一条技术讨论串联指出：RLHF 中常见的输出分布塌缩并非梯度下降本身的问题，而是损失函数选择的后果。引用的直方图实验显示：基座模型生成数字时 50.5% 样本有效且分布不规则；用 PPO 微调后 95.8% 样本有效，但概率质量高度集中在少数数字上；换成 GFlowNet 目标微调后 100% 样本有效，且输出分布保持完全均匀。评论者指出，若想要的是「昂贵随机数生成器」，把 PPO 换成 GFlowNet 目标即可——这解释了为什么理解损失函数比理解优化器更重要。
「研究」频道最新
- Priming Models：无需扩散教师的单步生成新范式，FID 1.19 — du_yilun · 2026-10-15
- vLLM 实现 RL 训练推理 bitwise 一致，解决 KL 飙升掉分难题 — vllm_project · 2026-10-15
- David Deutsch 断言：证明已不再是数学进步的有效代理 — francoisfleuret · 2026-10-15
- STEMBench上线:六大学科评测,所有模型零满分通关 — mariofilhoml · 2026-10-15
- OpenAI 捐 500 万美元助力数学界研究 AI 成果,Simons 基金会共投 1500 万 — OpenAI · 2026-10-15
- Qwen 发布 BlenderWorld：223 个任务实测模型 3D 建模能力 — yshan2u · 2026-10-15