PufferLib 单 GPU 每秒训练 6000 万样本，RL 库全开源

jsuarez · x · 2026-11-11

Neural MMO 作者 Joseph Suarez 介绍其小模型 RL 训练栈全部采用 C/CUDA C 实现，单块 GPU 训练吞吐最高达每秒 6000 万样本。其开源库 PufferLib 主打快速、简洁的强化学习训练，可在数秒内训练出超人类水平的微型模型，内置自研学习算法、超参调优（Protein/CARBS）与仿真方法，曾获 RLC 2025 最佳论文。项目长期维护，配套大量技术博客（如 PufferLib 4.0 工程解析、2 万次 RL 实验可视化、PB 级数据在家跑 RL 等），同时提供商业化的高性能环境定制与训练支持服务。