LiveKit 称 Gemma 4 31B 语音首 token 仅 192 毫秒
GlennCameronjr · x · 2026-07-30
LiveKit 转述称，语音智能体里最快的 LLM 现在是开源权重模型：Gemma 4 31B 跑在 LiveKit Inference 上，首 token 192 ms，完整说出一句话 354 ms，价格则是 每 100 万输入 token 0.40 美元（缓存后 0.20 美元）和 每 100 万输出 token 1.20 美元。
这条消息强调的是语音场景里的低延迟 + 低成本组合，而不只是模型能力本身。
「Infra」频道最新
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16