Sori-1B：零文本预训练的音频 grounding 语言模型
Balance- · reddit · 2026-08-31
SNU 研究员发布了 Sori-1B，这是一个 10 亿参数的音频语言模型，其核心特点是解码器完全从零开始在音频配对文本上训练，不进行任何纯文本预训练或使用预训练 LM 初始化。
技术亮点：
- Audio-Grounded： 旨在让模型回答基于音频而非依赖文本先验（实验显示 AF3 在静音下仍保留 74% 的表现，证明其依赖文本）。
- 架构复用： 冻结了 NVIDIA 的 Audio Flamingo Next 编码器（占 61.5% 参数），其余部分（解码器、嵌入层、基于音频概念的自定义 tokenizer）均从头训练。
- 训练规模： 使用约 7400 小时/475 万样本，仅需 3 张 RTX 4090。
- 功能： 支持 MCQ、开放式问答、字幕生成和 ASR。
- 许可： 权重仅限非商业/学术用途（因使用了 NVIDIA 的非商业编码器）。
「多模态」频道最新
- Tripo 旧金山办首届 3D 世界构建黑客松,World Labs 与 Runway 亮相 — mhdfaran · 2026-10-16
- Kling 4.0 强化文生视频：角色一致性、口型同步与对话表现升级 — CurieuxExplorer · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- AI 生成「巨人 MJ」时装图爆火:夸张比例撞出超现实时尚感 — OVolosin82152 · 2026-10-16
- BFL 官方回应 Flux 3 Klein 争议：Comfy workflow 有 bug 修复中 — desktop4070 · 2026-10-16