开发者补齐 YuE2 缺失编码器，可把自录音乐喂进模型
bdsqlsz · x · 2026-09-15
开发者 sinceriously 在 Hugging Face 发布 yue2-mothersuperior-realaudio-tokenizer-v4，为开源音乐生成模型 YuE2-3B 补上官方未提供的「音频→语义 token」编码器，并附带 NAR 分支 LoRA，让解码器能渲染真实录音的 latent。
- tokenizerheadjointv4.pt：把 MERT-v2-FullSong 第 20 层特征（逐轨实例归一化、25 Hz）映射到 32,768 个 YuE2 语义码；8 层 transformer、d=512、512 帧窗口。在 YuE2 自生成歌曲上留出集 top-1 精确匹配 16.1%，但近似码渲染几乎一致，NAR 往返听感测试约 95%。
- narlorajointv4.pt：rank-32 LoRA，作用于 28 层的 narselfattn.{q,k,v,o}proj 与 narmlp.{gate,up,down}proj，外加完整 vae2llm/llm2vae，与编码器头在真实音频上联合训练。
- 训练数据：先 4,765 首 YuE2 自生成歌曲，再适配真实音频；另需约 100 MB 的 minted regularizer pack（4,732 首生成歌曲），AR 训练时 50% 采样自该包以防小样本艺术家数据导致 token 语法崩塌。
- 环境：Python 3.12 + yue2-infer、torch 2.10/cu128、demucs 等，24 GB 显存即可跑完全部阶段（实测 14–18 GB）。
用途：可对自己的录音做 tokenize、用 LoRA 微调 YuE2 的 AR 分支，进而生成新歌或翻唱。
所属事件:社区补齐开源音乐模型 YuE2 缺失编码器(3 条相关)→
「多模态」频道最新
- 图像理解模型 Jev 1.14 上线 Runware,输入每百万 token 仅 $0.042 — aziz4ai · 2026-10-31
- 用 MiniMax H3 搭出整页漫画生成工作流，作者开源全部节点 — gatortux · 2026-10-31
- Runway Agent 升级：能开文件跑代码，从生成走向干活 — runwayml · 2026-10-31
- UCSD 开源 FastH3:4 步蒸馏 MiniMax H3,Blackwell 上提速 14 倍 — victormustar · 2026-10-31
- AI 生成剧集《Árpád》更新第六集，动物实拍感以假乱真 — PannoniumFilms · 2026-10-31
- Deconstruct AI 把参考图拆解为 MJ/SDXL/ComfyUI 提示词 — robert-988 · 2026-10-31