蚂蚁集团开源 AReno：单节点搞定 LLM 的 RL 后训练与部署

pmttyji · reddit · 2026-08-18

蚂蚁集团 ASystem 团队开源了 AReno，一个单机 LLM 后训练工具包，覆盖 RL、SFT/DPO 式训练、推理服务和 agentic RL。它采用自包含全栈设计，无需搭建集群，也不用自行拼接训练框架、推理服务和 kernel 库，就能从 base checkpoint 走到训练并部署上线。

主要特性：各种后训练算法通过 --algo 参数或统一的 Trainer 类即插即用；仅依赖 PyTorch、FlashAttention 等少量库；agentic RL 场景下可让 agent 函数对接本地 OpenAI 兼容代理，返回显式轨迹并从 token、logprob、reward 和 loss mask 训练；算法、模型适配器、奖励函数和硬件后端均可扩展注册。官方还提供了在 DGX Spark 上训练 Ling 3.0 Tiny 玩井字棋的教程。