免训练投机解码框架加速全双工语音模型,显著降低响应延迟
CUHKSZ · hf · 2026-11-06
CUHKSZ 团队发布 Speculative Listening,一个免训练、无损的投机解码框架,针对分块交织的全双工语音语言模型。核心观察:约 95% 的音频块为静音时模型输出与真实音频一致,可利用空闲算力提前起草并验证即将到来的音频块;在真实音频到达时用假设池进行 prefill+验证,仅少数首个 token 需修正。该框架可大幅降低语音响应与工具调用延迟。
「研究」频道最新
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- Burkov 提议:用海量权重文件预训练 Transformer,让它学会编辑模型权重 — burkov · 2026-11-06
- AI 研究者：后训练数据管线仍高度人工，自动化远未到来 — menhguin · 2026-11-06
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 港中文 MMLab 提出 TailSteer,抑制多轮图像编辑累积漂移 — MMLab-CUHK · 2026-11-06