LiveKit 优化 Gemma 4 31B 语音推理
xiaohu · x · 2026-07-17
LiveKit 在自家推理平台 LiveKit Inference 上跑 Google 的 Gemma 4 31B，并针对实时语音场景做了优化。
对比 GPT-4.1，它的首字延迟从 1006ms 降到 192ms，接话延迟快约 5.2 倍，成本约便宜 83%。在酒店前台任务测试里，完成率达到 88%，高于 GPT-4.1 的 73% 和 Gemini 2.5 Flash 的 64%。
所属事件:LiveKit 优化 Gemma 4 31B 语音代理(4 条相关)→
「Infra」频道最新
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27
- Anthropic S-1 关键数字:成立以来算力支出仅 193 亿美元,算力过度建设警报 — bookwormengr · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 电网排队成 AI 工厂瓶颈,Exowatt 与 Redwood 给出储能新解法 — ingliguori · 2026-10-27
- Wasmtime 曝两个 CVSS 9.9 沙箱逃逸漏洞，其中一个仅影响 ARM64 — basedjensen · 2026-10-27
- AI 数据中心时代用电论战：有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27