Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,支持扩散语言模型
ethayarajh · x · 2026-10-17
开源微调框架 Axolotl 发布 v0.21.0(自 v0.20.0 以来 59 个提交),亮点包括:
- Reflection Beam 微调:这个 501B 参数、23B 激活的 MoE 可在单节点 8×H200 上做 QLoRA 微调,提供 FSDP2 与 devicemap 配置,以及 B200 上 bf16/NVFP4/NF4 的专家并行 LoRA 配方。
- 原生扩散语言模型训练:通过顶层 diffusionlm: 配置块即可微调 Nemotron-Labs-Diffusion 3B/8B、Dream v0、DiffusionGemma,无需插件,并支持扩散 LM 上的 Typed-Decision Training。
- 多模态偏好训练:DPO、KTO、GRPO 支持图像数据集。
- 性能优化:eager LoRA 提速 8%,另支持 CoreWeave 云训练。
上一版 v0.20.0 还带来了 GGUF 导出、NVFP4 LoRA、长上下文训练等特性。
「研究」频道最新
- Insilico 发布 MMAI KINOME:一次预测分子对 67 种激酶的活性 — DeryaTR_ · 2026-10-17
- 可解释性新观察：神经元越「多义」，负责的概念可能越相近 — Sauers_ · 2026-10-17
- Matthew Green 揭 NIST 椭圆曲线种子疑点:P-256 曾跳过可用候选曲线 — matthew_d_green · 2026-10-17
- Terry Tao 博客刊发讽刺长文：AI 正在把物理学家变成「发论文机器」 — DanielWhiteson · 2026-10-17
- 一个 cron 任务让 Claude 自主破解密码难题并推进 1932 年数论猜想 — IgorCarron · 2026-10-17
- 纯 Rust 视觉定位库 visloc-rs:SfM 比 COLMAP 快 3.46 倍 — rsasaki0109 · 2026-10-17