网友用 2.4 MB PCA 头把 EmbeddingGemma-2 (577M) 推上 MTEB Audio (MAEB) 榜首
I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training
来源与原文
Reddit · r/LocalLLaMA
作者：/u/JeanMichelRanu
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xhny7x/i_took_embeddinggemma2_577m_from_rank_26_to_1_on/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
/u/JeanMichelRanu 在不训练任何权重的情况下，给 google/embeddinggemma-2 (577M) 加了一个 2.37 MB 的冻结 PCA 矩阵头，把 MAEB 音频榜成绩从 49.3% 提到 54.4%，从第 26 名升至第 1。方法是从冻结音频编码器的第 2 层和第 6 层提取声学特征，用 1400 条外部音频拟合 PCA 压缩到 256 维，注入 768d 向量中文本骨干未使用的 256 个零空间方向。副作用是音频嵌入不再支持 Matryoshka 截断，MInDS14 从 97.6% 降到 88.3%。权重发布在 BrunoHays/embeddinggemma-2-nullspace-audio。
作者公开了零训练提升音频嵌入排名的具体做法，包括 PCA 头的构造细节和副作用数据，方法可复用到其他冻结模型。
来源：Reddit · r/LocalLLaMA · reddit.com