Sentence Transformers v5.7.0：修复梯度错误，训练提速3.9倍
tomaarsen · x · 2026-08-06
Sentence Transformers 发布 v5.7.0 版本，重点修复了 GradCache 机制中的隐蔽 Bug（如重排序模型在反向传播中重放不同的 dropout 掩码导致梯度偏差），并将所有缓存损失重构为共享超类。
性能方面，新增基于 token 数量的 mini-batch 打包功能，在 Natural Questions 数据集上结合 Flash Attention，训练速度提升 3.9 倍且不损失质量。此外，修复了 model.compile() 在推理时静默失效的问题，开启 CUDA graphs 后在 bge-small 模型上实测推理速度提升约 3 倍。
所属事件:Sentence Transformers v5.7.0 发布修复梯度Bug并大幅提速(3 条相关)→
「编程与Agent」频道最新
- François Chollet:AI发展史就是神经与符号系统融合的演进 — fchollet · 2026-08-06
- 实验证实:在编程环境中训练模型,奖励大幅跃升 — TheZachMueller · 2026-08-06
- 探讨:模型将内部笔记写入文件,算不算真正的符号系统? — lateinteraction · 2026-08-06
- 从辅助到依赖：开发者离开编程智能体已无法正常工作 — yunta_tsai · 2026-08-06
- 从数据建模到上下文工程：AI 时代分析师的职责演变 — Lopsided_Judgment_17 · 2026-08-06
- 自建代码审查Agent不如CodeRabbit？算力成本与工程化成关键 — IndraVahan · 2026-08-06