CoBit 论文：单一比特流扩散框架统一图文语音蛋白质生成

LucaAmb · x · 2026-10-15

Luca Ambrogioni 等人发布论文《Multimodal Co-Generation With Continuous Bitstream Diffusion》（arXiv:2610.14349），将原本用于语言建模的连续比特流扩散（CoBit）扩展为统一的多模态联合生成框架。

核心要点：

统一协议：图像-文本、语音-文本、蛋白质序列-结构三组模态各自从零训练，但共享同一套架构（单一输入投影、transformer 骨干、逐比特预测头）与二值 score-matching 目标，无需任何模态特定校准
单一 checkpoint 即可支持联合生成与多种条件生成方向，只需改变比特流中被观测的部分
在 MNIST-Sum 受控图文任务上，不用学习型 tokenizer 就达到接近完美的条件生成精度
语音-文本模型未经文本预训练，即可完成语音合成、识别、续写与无条件联合生成；生成的文本与生成语音的自动转写之间词错误率仅 3.5%
蛋白质任务中单 checkpoint 支持正向折叠、逆折叠与联合序列-结构生成

论文与代码均已公开（arXiv / GitHub）。

「多模态」频道最新