Sori-1B：零文本预训练的音频 grounding 语言模型
Balance- · reddit · 2026-08-31
SNU 研究员发布了 Sori-1B，这是一个 10 亿参数的音频语言模型，其核心特点是解码器完全从零开始在音频配对文本上训练，不进行任何纯文本预训练或使用预训练 LM 初始化。
技术亮点：
- Audio-Grounded： 旨在让模型回答基于音频而非依赖文本先验（实验显示 AF3 在静音下仍保留 74% 的表现，证明其依赖文本）。
- 架构复用： 冻结了 NVIDIA 的 Audio Flamingo Next 编码器（占 61.5% 参数），其余部分（解码器、嵌入层、基于音频概念的自定义 tokenizer）均从头训练。
- 训练规模： 使用约 7400 小时/475 万样本，仅需 3 张 RTX 4090。
- 功能： 支持 MCQ、开放式问答、字幕生成和 ASR。
- 许可： 权重仅限非商业/学术用途（因使用了 NVIDIA 的非商业编码器）。
「多模态」频道最新
- AI 生成超现实暗黑景观图：荒漠中矗立发光异形拱门 — piotrbinkowski · 2026-10-16
- 用 Claude Code 驱动 Blender 做出 Anthropic 小粉丝动画 — Icy-Appointment3583 · 2026-10-16
- 用 Opus/Astra/Argon 生成 Blender 动画：怎么描述依然决定成败 — chongdashu · 2026-10-16
- 免细分位移表面几何查询新方法,焦散渲染方差降超10倍 — ssh4net · 2026-10-16
- AI 生成机械装配结构成功动起来,作者激动截图庆祝 — zetalyrae · 2026-10-16
- 复旦 OpenMOSS 开源 MOSS-Image-SFT:Apache 2.0 文生图模型 — bdsqlsz · 2026-10-16