免费Colab微调EmbeddingGemma 2:声音检索准确率24.5%升至65.8%
Prompt Engineering · youtube · 2026-10-08
Prompt Engineering 频道发布教程,演示如何用 Unsloth + LoRA 在免费 Colab 上微调 Google 的多模态嵌入模型 EmbeddingGemma 2,并讲清嵌入模型微调与 LLM 微调的差异。
- 两个实测任务:环境声音检索(ESC-50 数据集 top-1 从 24.5% 提到 65.8%);在创作者自己的 YouTube 字幕上做搜索,未见过视频的 top-1 从 66.3% 升到 75.0%。
- 关键知识点:如何构造问答-段落训练对;为什么 in-batch negatives(MultipleNegativesRankingLoss)必须搭配无重复采样器;训练与检索 prompt 必须一致;LoRA 如何作用在共享多模态骨干上;以及一个重载时静默破坏音频适配器的坑。
- 教程还检查了微调对图片、语音、文本检索等其它能力的副作用,并附 Colab 笔记本与完整链接。
「模型」频道最新
- 用户实测 Grok bot:速度快连接器好用,弃 OpenClaw 转投 — haltakov · 2026-10-08
- 曝 Google 迟迟不放出 Gemini 4 Argon，热度消退引开发者不满 — OfficialLoganK · 2026-10-08
- 独立模型 Glimmer 技术细节曝光:MacBook 上 4-bit 量化跑到 50 tok/s — TimDarcet · 2026-10-08
- OpenAI 未发布模型单条 prompt 跑出几乎全部科研结果 — MikePFrank · 2026-10-08
- 「李世石时刻」:AI 数学证明免费可得,数学界愤怒 OpenAI 无意义 — RexDouglass · 2026-10-08
- 数学家9月上传ChatGPT的未发表证明,10月被OpenAI公开撞车 — GeorgiaChal · 2026-10-08