OpenCLIP 支持分层学习率衰减，缓解 CLIP 微调难题

开发者指出，在数据不足或质量不佳、且与原始训练分布差异较大时，用对比损失继续微调 CLIP 通常效果不佳。针对这一痛点，OpenCLIP 贡献者为文本与图像编码器新增了分层学习率衰减（layer-wise LR decay）支持，以缓解分布偏移下微调带来的遗忘问题，同时新版本 4.x 也更易上手。

2026-11-13 ~ 2026-11-13 · 2 条相关

• 用对比损失微调 CLIP 常因数据不足而失败，OpenCLIP 4.x 更易上手 — wightmanr · 2026-11-13
• OpenCLIP 新增分层学习率衰减，缓解分布偏移下的微调遗忘 — wightmanr · 2026-11-13