Trelis 发布首个语音到语音预训练数据集:双轨音频 token 加说话人与情绪标注
morgymcg · x · 2026-11-18
Trelis Research 在 Hugging Face 发布其语音到语音(speech-to-speech)系列的首个数据集 s2s-pre-training-yodas3-mimi,面向双轨语音到语音模型训练。
- 数据源自 YODAS3(英文,CC 授权 YouTube 数据集),筛选长段英文语音、一或两名说话人、极少音乐,按 shard/member 引用
- 以 Mimi 音频 token 代替原始音频,体积轻量
- 机器标注丰富:含词级时间戳的说话人归属转写(含重叠语音)、笑声等发声事件、逐句情绪标签
- 双说话人时各占独立 token 轨道
后续还将发布更多语音到语音相关数据集与模型。
「多模态」频道最新
- World Labs Atlas 新演示:第一人称探索手绘草图生成世界 — XRarchitect · 2026-11-18
- 「它们一直都在」:复古胶片质感蝙蝠侠骑马 AI 图刷屏 — gizakdag · 2026-11-18
- AI 重制《功夫梦》变 1971 年复古风,效果惊艳 — techhalla · 2026-11-18
- Retrolab:ComfyUI 实时胶片模拟节点,内置 Anti-AI 滑块 — listopalafoto · 2026-11-18
- AI 3D 引擎 Kaigen 获 10 万美元游戏 jam 官方支持,与 Unreal 同台 — gdechichi · 2026-11-18
- Marimba:冻结Qwen3-ASR特征实现语音「系统一」决策,9项测试6项平或超Qwen3-Omni — charcot-ai · 2026-11-18