OpenCLIP 新增分层学习率衰减，缓解分布偏移下的微调遗忘
wightmanr · x · 2026-11-13
OpenCLIP 贡献者宣布为文本与图像编码器添加了分层学习率衰减（layer-wise LR decay）支持，用于应对训练分布差异较大时微调带来的遗忘问题。
作者同时指出：用对比损失继续微调 CLIP 模型通常效果不佳，主要瓶颈在于数据量与数据质量，尤其是微调数据与原训练分布差异显著时。他建议在 OpenCLIP 之上编排实验来验证，特别是 4.x 主分支已清理了训练设计，大多数编码 agent 应能胜任这类实验编排。
所属事件:OpenCLIP 支持分层学习率衰减，缓解 CLIP 微调难题(2 条相关)→
「研究」频道最新
- 开源扩散起草器 DynaDFlash:投机解码接受长度提升 5% — charles_irl · 2026-11-13
- 滑铁卢四学者合著《降维与流形学习》教材，已被引用 392 次 — FrnkNlsn · 2026-11-13
- Minecraft 智能体评测 mcbench-lite 开源,本地跑自己的 API key — adonis_singh · 2026-11-13
- AI算出的「临床年龄」与多种癌症及慢病风险显著相关 — EricTopol · 2026-11-13
- TRUST 框架把自改进 Agent 的劣质更新接受率从 45.6% 压到 2.78% — dair_ai · 2026-11-13
- 权重归一化成新趋势：nGPT 等方法中各神经元范数几乎恰好为 1 — SonglinYang4 · 2026-11-13