llama.cpp 合入 Nemotron 3.5 Transcribe:40 语言离线语音转写
jacek2023 · reddit · 2026-11-03
llama.cpp 合入 PR #31471,为 NVIDIA 的 Nemotron 3.5 Transcribe 增加支持。这是一个开放权重、可完全离线运行的语音/音频转写模型:
- 支持 40 种语言转写,可处理最长 1 小时的录音,上下文窗口 65,536 token
- 采用混合 MoE 架构(30B-A4B),激活约 4.3B 参数(含音频编码器)
- 提供 BF16、FP8、NVFP4 三种精度权重,均已在 Hugging Face 上发布
对本地/离线语音转写场景来说,这意味着可以在消费级设备上跑一个高质量多语言转写模型。
「Infra」频道最新
- HBM 芯片遭疯抢,走私成中国 AI 公司获取高带宽内存主渠道 — pstAsiatech · 2026-11-03
- Strata 0.2.10 发布：Qwen3.8 在 8GB 显卡跑出 20+ tok/s，双卡提速近一倍 — evilsocket · 2026-11-03
- 谜底是有限精度：logit变大后BF16分辨率不足以表达差异 — micahgoldblum · 2026-11-03
- AI 建设撞上「外部资本墙」：CoreWeave 债券跌至 79 美分，OpenAI 融资缩水 — RihardJarc · 2026-11-03
- Anthropic 用重放采样验证推理未被篡改,与 DiFR 论文思路一致 — adam_karvonen · 2026-11-03
- Netflix 用共享知识图谱建模遥测与告警，每秒接入 3800 万事件 — JeremyCMorgan · 2026-11-03