Kimi K3全量微调上线AC2 单副本GPU需求降40%

Applied Compute宣布在AC2平台上线Kimi K3全量微调功能。针对近3T参数的模型,团队通过内存优化将每个训练副本所需GPU数量减少约40%:包括用于Adam更新的流式梯度更新使主机内存峰值降低约33%,以及每GPU节省90GB显存等手段。实测显示MXFP4推理误差极小,bf16训练前向结果与原模型基本一致,大幅降低了大规模微调门槛。

2026-08-29 ~ 2026-08-30 · 3 条相关