零训练登顶：577M 小模型借 PCA 填补零空间碾压 9B 音频嵌入
JeanMichelRanu · reddit · 2026-10-28
Reddit 用户 BrunoHays 将 Google 的 577M 参数嵌入模型 EmbeddingGemma-2 在 MTEB 音频基准 MAEB 上的成绩从 49.3% 提升到 54.4%,从第 26 名跃升到第 1 名,击败多个 8B-9B 多模态大模型——全程零训练,新增部分只是一个 2.37 MB 的冻结 PCA 矩阵文件。
核心思路
- EmbeddingGemma-2 的文本骨干是 512 维,末尾用 768×512 线性层投影到 768 维,留下 256 个文本向量永不触碰的「零空间」方向。
- 语音表征研究表明,编码器浅层(Layer 2、Layer 6)保留说话人、音高、情绪等声学特征,而这些在最终层被丢弃。
- 作者用 PCA 把浅层特征压到 256 维,注入零空间,保留原有 100+ 语言文本-音频检索能力的同时补上音频-音频能力。
提升幅度:无监督声纹/性别聚类 0.05%→63.1%;歌手/歌曲音频检索 55.2%→93.8%;人声情绪分类 19.7%→40.2%。
限制:因无重训,音频嵌入必须用满 768 维(不支持 Matryoshka 截断),且未加权的声学特征会损害部分纯语音意图任务。权重已开源在 Hugging Face。
所属事件:零训练 PCA 微调：577M 嵌入模型登顶音频榜(2 条相关)→
「模型」频道最新
- Tara 与 Mila 推出 CATCH：约 200 例对抗训练让 LLM 学会诚实 — Mila_Quebec · 2026-10-28
- 谷歌开源 EmbeddingGemma 2:744M 多模态嵌入模型胜过 12 倍大模型 — dair_ai · 2026-10-28
- 用户吐槽 6.1 Terra 太「懒」:每 5 分钟汇报一次,拒绝一口气干完 — Captain-Overboard · 2026-10-28
- 经济学家批OpenAI定价：非线性计费逼用户开多号，违反基本原理 — joshgans · 2026-10-28
- ShadowBench:19 个 VLM 判断影子物理一致性几乎全靠猜 — HirokatuKataoka · 2026-10-28
- 网友整理 Awesome GPT-6.1 Terra 清单：项目、提示词与社区评测 — Awacer · 2026-10-28