把嵌入模型 EmbeddingGemma 2 改造成语音双向模型
kastnerkyle · x · 2026-10-15
开发者 TslShahir 连续做了两个实验:先用 Google 的开源嵌入模型 EmbeddingGemma 2 做语音转文字(STT),在基础款 M3 MacBook Air 上达到约 288 倍实时速度,1 小时音频约 13 秒转完。原理是 Gemini Embedding 把文本、图像、音频、视频放进同一语义空间,口语词与书面词相邻,可以直接从嵌入读出转写。
随后又反向尝试让它生成语音:用 EG2 的语义词嵌入规划韵律等细节,一个小模型生成音频表示,再用 vocos vocoder 重建声音。TTS 速度也极快——M3 Air 上 3.8 秒生成 1000 token,约 79.5 倍实时。作者承认音质还比不上业界最优,但这是第一版迭代。两个实验均已在 X(23.8 万浏览)、LinkedIn(8.5 万)和 HN 首页走红。
「模型」频道最新
- 用户实测:Gemini 4 Argon 难以直接替代 Opus 5.5 与 Grok 4.7 — triviatroy · 2026-10-15
- 用游戏测评编程模型不是炫技，而是检验真实复杂任务 — vitaliychiley · 2026-10-15
- 开发者首测未发布 Gemini 4 Argon：前端能力惊艳，可与 Opus 5.5 组合 — zacharynado · 2026-10-15
- 用量才 35% 就提示逼近周上限?用户质疑 Claude 弹窗推销 credit — RyanMorrisonJer · 2026-10-15
- 设计师用 Opus 5.5 重做书籍排版：模型快速读懂审美细节 — floguo · 2026-10-15
- Apollo 首见：GLM 会在推理时自发权衡行为对未来训练的影响 — MariusHobbhahn · 2026-10-15