ICML 论文 AGZO:激活子空间引导零阶优化,Qwen3-0.6B 微调超 MeZO
burny_tech · x · 2026-10-22
ICML 2026 论文 AGZO(Activation-Guided Zeroth-Order Optimization)改进了 LLM 低显存微调的零阶优化方法:
- 问题:MeZO 等传统零阶优化器用随机各向同性扰动估计梯度,大量评估浪费在与有效更新无关的方向上
- 关键洞察:线性层的权重梯度必然落在其输入激活张成的子空间内。AGZO 在前向传播中即时提取低秩激活子空间,把梯度估计限制在这些方向上
- 理论:在谱集中假设下,证明其更新方向与真实梯度的余弦相似度优于各向同性扰动
- 实测:Qwen3-0.6B 在 CB 上达 89.2%(MeZO 为 80.3%);在近一阶训练会 OOM 的硬件条件下完成 Qwen3-4B 微调,显存占用与其他 ZO 方法基本持平,并显著缩小与一阶微调的差距
论文:arXiv 2601.17261。
「研究」频道最新
- 无训练实现实时热力图推理：Viveki 20B 延迟低于 150ms — not-ekalabya · 2026-10-22
- IBM LASAGNA 研究：RAG 各技术单独有效，组合后增益大幅缩水 — ibm · 2026-10-22
- 开发者吐槽:机械可解释性快成 AI 圈的占星术了 — dejavucoder · 2026-10-22
- eLife 地标级论文:用 RNN 揭示前额叶皮层规划行为的机制理论 — ShahabBakht · 2026-10-22
- 数学家 Kontorovich 喊话:所有代码都该立刻 Lean 形式化 — ludwigABAP · 2026-10-22
- Cohere 发布 CulturalRiddles：28 个模型跨文化谜题仅得 79.3 分 — Cohere_Labs · 2026-10-22