CoBit 论文：一套连续比特流扩散架构统一语言、图像、语音与蛋白生成
LucaAmb · x · 2026-11-01
论文《Multimodal Co-Generation With Continuous Bitstream Diffusion》(arXiv:2610.14349,作者含 Mark Girolami、Luca Ambrogioni 等)展示:为语言建模设计的连续比特流扩散(CoBit)可以用同一套训练与采样协议做联合多模态生成——把每个模态编码为比特流、展平后去噪,架构几乎不用改。
三种场景各自从头训练,但共享同一结构(单一输入投影、Transformer 骨干、逐位预测头、二值 score-matching 目标),单个 checkpoint 即可支持联合生成与各条件方向:
- 图像-文本:MNIST-Sum 验证任务上条件准确率近乎完美,联合样本一致性达 99.46%,无需学习 tokenizer
- 语音-文本:633M 参数、无文本预训练,单模型完成语音合成、识别、续写与无条件共同生成,生成文本与生成语音自动转写间的词错误率仅 3.5%
- 蛋白序列-结构:单 checkpoint 支持正向折叠、逆折叠与联合生成,生成序列-结构对平均 scTM 0.911
结论:模态差异所需改动出奇地少,比特流统一表示是多模态共同生成的一条可行路线。
「多模态」频道最新
- Mage 推出 Magejutsu:任意角色一键重演任意视频，分三档定价 — itsmnjn · 2026-11-01
- ComfyUI 新节点套件 LuCiD VRP:可视化画布加区域提示词编辑 — EBEB__ · 2026-11-01
- 全本地万圣节 MV:ComfyUI 视频生成器两阶段采样跑 MiniMax H3 — Cheap_Credit_3957 · 2026-11-01
- 用小滑块控制 MiniMax H3 动作与情绪,无需训练 LoRA — MatlowAI · 2026-11-01
- OpenPixel:让 AI Agent 用结构化矩阵画像素画的开源 MCP 工具包 — Yasirovic · 2026-11-01
- Pika H3 Flex 发布：超实时生成，比 H3Max 快 1.8 倍便宜 80% — umesh_ai · 2026-11-01