自动研究智能体 SENPAI 自写内核,训练时长从 26 小时降到 22 小时

morgymcg · x · 2026-09-22

作者团队用 W&B 开源的自动研究智能体 SENPAI 做了一次自动化 ML 研究实验：智能体自主调研并写出两项优化——针对 Transolver 的 SliceAttention kernel，以及 BatchedMuon 优化器实现——使完整训练时长缩短约 22%（26 小时 → 22 小时，单次省约 4 小时），且误差/质量无显著变化。

SENPAI 是一个半自主研究循环：Advisor 负责提出和评审实验，多个 Student 各自实现分配到的实验，基于可观测性数据驱动迭代。仓库包含 LLM 训练优化指南、论文与完整工具链，可复现这一研究流程。