Kezek 开源工具:把单声道双人对话拆成按说话人分轨的全双工数据
manifestro · hf · 2026-11-19
Manifestro 发布 Kezek(论文+代码+权重+Demo),解决全双工语音对话模型的数据痛点:大多数现有双人对话音频是单声道混音,而全双工模型需要按说话人分轨的数据来学习轮次、重叠和插话。
- 两阶段方法:第一阶段用说话人指纹引导(对相位不敏感)的双语音活动模型,决定"谁在何时说"和"谁是谁",对整段录音一次性判定;第二阶段用条件时域分离器执行该判定,输出始终可以求和还原为原始输入。
- 保真特性:分离后保持原始长度与时间对齐,短应答("嗯""对")仍留在说话者自己的轨道上,重叠与短回复得以保留。
- 新评测指标:作者指出标准分离指标会漏掉对话数据真正要紧的失败模式,改报短回复保留率(Open Yan 测试集 0.83 vs 基线 0.69)、串音泄漏、声道互换与覆盖率等。
- 在相同录音上优于开源管线 pyannote→DialogueSidon。
「多模态」频道最新
- 一条 Neon 提示词让绿植变角色:行走跳跃挥手全搞定 — fofrAI · 2026-11-19
- LTX-2.3 长片实测:CFG=1 下负向提示无效,亮度逐段流失 — Chance-Thanks-1278 · 2026-11-19
- 用 Claude 和即梦 CLI 制作 6 分 46 秒哈勃纪录短片 — xiaohu · 2026-11-19
- 实测即梦 Seedance 2.5 4K:AI 视频告别塑料感 — xiaohu · 2026-11-19
- AI 生成暗黑人像:霓虹鬼脸与红眼光影氛围感拉满 — azed_ai · 2026-11-19
- 蒸汽波都市幻影风图像 Prompt 模板,附三张成品参考图 — LudovicCreator · 2026-11-19