ITMO 提出 SEAM 方法，低资源 TTS 词表扩展省 75% 训练数据
ITMO · hf · 2026-10-23
ITMO 大学团队发布 SEAM（Spectral Embedding Alignment and Merging）论文，针对条件 TTS 模型词表扩展需要大量配对音频微调的瓶颈，提出一种零音频的 token embedding 初始化方法。
- 将子词 token embedding 视为离散信号，施加谱低通滤波以保留时序音素组合性
- 通过闭式岭回归把结果投影到预训练 embedding 流形上
- 在低资源与跨语言适配场景下，将训练数据需求降低 75%
「研究」频道最新
- AnyGameRenderer 把 AI 代理生成的灰盒游戏画面实时变成高清游戏 — AlayaLab · 2026-10-23
- LayerEditor 把图像编辑拆成可复用 RGBA 图层，一次生成 5-10 层 — jingdong1 · 2026-10-23
- F2G-Pose 单帧 RGB-D 实时估计类别级物体位姿与完整形状 — sii-research · 2026-10-23
- KAIST FRED 自蒸馏改进世界动作模型，人转机器人技能成功率 19.4%→50% — kaist-ai · 2026-10-23
- 同一模型同卡可先卡内存后卡算力：GPU 执行原理全图解 — techNmak · 2026-10-23
- NVIDIA 发布 ArtiFixer：8B 模型修 3D 重建伪影，快 3-4 倍省一半显存 — ZGojcic · 2026-10-23