新优化器 PoLoRA：加速 LoRA 微调且更稳定
deepcohen · x · 2026-08-19
PoLoRA 是一种新型预条件正交化 LoRA 优化器，旨在解决 Adam 忽略 LoRA 矩阵结构的问题。通过结合乘积感知谱更新、曲率预条件和幅度规则，PoLoRA 在代码和数学指令微调中，将达到 Adam 最终损失所需的步数减少了 1.2-1.7 倍，且对学习率不敏感，最佳学习率在不同秩下保持稳定。
「研究」频道最新
- FAR 框架助力 AI 数学研究，解出 1977 年猜想 — wellecks · 2026-08-19
- 研究揭示 LLM 控制机械臂表现糟糕，定位与推理存缺陷 — tom_doerr · 2026-08-19
- AlphaFold 在 TNFα 蛋白预测上表现超预期 — MoAlQuraishi · 2026-08-19
- 神经研究：手写比打字更能激活全脑连接 — CurieuxExplorer · 2026-08-19
- 专家反驳 Anthropic：设计结合剂并非药物研发的完美代理 — rapha_gl · 2026-08-19
- 趣事：Qwen 模型学贪吃蛇竟学会了“骑墙”生存 — mervenoyann · 2026-08-19