Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错

_ScottCondron · x · 2026-10-23

Aleph Alpha 发布文章,记录了构建 Kolibri(RL 环境与沙箱基础设施)过程中的工程经验:GPU 停摆、镜像把磁盘塞满、沙箱崩溃被错误计为「答案错误」、reward hack 等。文章指出沙箱不只是跑云端 agent 的地方——研究中单个 run 就要数千个并发沙箱,每个研究员多个 run、每家公司多名研究员,吞吐与 Trainer 之间的平衡是核心难题。

转发者补充称在研究场景同样见到海量沙箱用量,并附上 CoreWeave Sandboxes 产品页(硬件隔离 microVM、集群级策略管控、与训练推理同栈部署)。这条内容对搭建 RL/agent 基础设施的工程团队有直接参考价值。