EmbeddingGemma 2 禁用 FP16:激活超动态范围,会 NaN 或静默降质
tomaarsen · x · 2026-10-07
tomaarsen 提醒 EmbeddingGemma 2 必须用 BF16 或 FP32,不要用 FP16:模型激活范围超出 FP16 的动态范围,模型卡警告会出现 NaN 或静默退化的嵌入质量。原生支持 BF16 的环境推荐 BF16,其他环境(包括大多数 CPU)用 FP32。Sentence Transformers 用法:pip install -U sentence-transformers transformers。
「模型」频道最新
- Perplexity 开源决策模型登顶 Hugging Face Decision Index 0.3 — AravSrinivas · 2026-10-07
- AutoAWQ 作者：约 4.3 万美元和一个 B300 节点四周可复现 Bonsai 2 — airesearch12 · 2026-10-07
- SuperGrok 用户吐槽 Grok Bot 用量限制太紧：「很快就撞墙了」 — nima_owji · 2026-10-07
- jev Decision Index v0.3 发布:加入私有评测集与视觉能力排名 — multimodalart · 2026-10-07
- NVIDIA Nemotron Labs 联手 Artificial Analysis 评测开放模型 — NVIDIAAI · 2026-10-07
- Mistral Large 4 一句话生成日式漂浮体素岛，网友惊呼「欧盟回来了」 — kevinkern · 2026-10-07