RubatoCodec：固定话语级 token 预算的自适应语音编解码器
third-intelligence · hf · 2026-10-22
Third Intelligence 公司提出 RubatoCodec，一种基于 X-Codec-2 的可变帧率语音编解码器，解决低帧率语音 tokenization 的权衡问题。
背景：更低帧率缩短 token 序列，但每个 token 须携带更多语言与声学信息。现有阈值式可变帧率编解码器由语音内容决定 token 数量，导致同一设置下序列长度在不同话语和数据集间波动，不利于下游语音生成器。
方法与贡献：
- 精确的话语级事件预算：Adaptive Firing 机制利用 codec 特征与能量谱变化将语音切分为可变时长事件，无需学习的阈值
- 流式解码：支持低码率语音重建与流式文本转语音生成
「多模态」频道最新
- Spline 推出 ChatGPT 插件,对话中直接创建编辑 3D 交互场景 — algo_diver · 2026-10-22
- 蚂蚁 Ming-3.0-TTS 以 93.2% 登顶发音稳健性榜单,MIT 开源权重 — lmoroney · 2026-10-22
- Kling 4.0 登陆 RoboNeo：单次生成最长 30 秒，会员半价 — aziz4ai · 2026-10-22
- 南大腾讯 ARC 提出 FCP：未来块监督提升视频生成的物理合理性 — TencentARC · 2026-10-22
- Kling 提出 ALLOT：免训练按输出分配块稀疏注意力省算力 — KlingTeam · 2026-10-22
- LaunchMotion 发布:208 个发布片特效 Skill 让 AI Agent 自动产出宣传片 — yihui_indie · 2026-10-22