零训练填满 256 维零空间，577M 嵌入模型冲上 MAEB 音频榜第一
JeanMichelRanu · reddit · 2026-10-28
作者在 Google 的 EmbeddingGemma-2（577M）上做了一个零训练实验：仅用 PCA 就把该模型在 30 任务的 MAEB 音频基准上从宏分 49.3% 提升到 54.4%，排名从 #26 升至 #1（完整 MAEB 上也从 #16 升至 #1），超过 8B-9B 级多模态模型。权重已开放：BrunoHays/embeddinggemma-2-nullspace-audio。
核心发现：LLM 对齐的音频嵌入模型在最后几层被「过滤」——保留词汇内容，丢弃音色、音高、情绪等副语言特征，导致无监督聚类仅 1-6%。逐层探测 12 层 Conformer 发现：第 2-3 层性别聚类从 0.05% 跳到 66.6%，第 6 层情绪分类从 19.7% 翻倍到 39.5%。
方法：模型最终投影矩阵 W（768×512）使所有文本向量落在 512 维子空间，SVD 可得 256 维「零空间」——文本向量永远不会用到。作者用在外部 1400 条音频上拟合的 PCA，把第 2、6 层中间特征压到 256 维注入零空间：文本嵌入逐位不变，检索任务波动 <0.05 分，而性别聚类 0.05%→63.1%、艺术家检索 55.2%→93.8%、情绪 19.7%→40.2%。
代价：音频端失去 Matryoshka 截断能力；且归一化后语义分量被压缩，说话人无关任务受损（spoken topic 57.2%→21.3%）。作者认为这展示了过训练基础模型中尚待挖掘的信号，若真正在零空间子空间上做训练还能更进一步。
所属事件:零训练 PCA 微调：577M 嵌入模型登顶音频榜(2 条相关)→
「模型」频道最新
- OpenAI 明日切换 10x 用量,老 20x 额度计划仅剩最后一天 — nptacek · 2026-10-28
- KOL 吐槽:记忆与电脑操作上 Claude 远不及 OpenAI 模型 — iruletheworldmo · 2026-10-28
- FrontierCode 2 实测:Anthropic 模型烧 token 是对手 2-3 倍,成本高 10-50 倍 — bookwormengr · 2026-10-28
- HF 工程师玩神经元的脑外科手术：改一个神经元 Qwen 变预言家 — LysandreJik · 2026-10-28
- Surge AI在Kaggle Bench Summit谈基准的未来：更像真实工作 — echen · 2026-10-28
- Artificial Analysis 复测 DeepSeek 新版:原评测变差或因 Fireworks 推理波动 — teortaxesTex · 2026-10-28