PhoneLLM 双模型开源:专攻语音对话,延迟低至 100ms 内
charles_irl · x · 2026-10-16
kwindla 发布两款面向对话语音 AI 的 PhoneLLM 模型,均为 NVIDIA Nemotron 的全权重微调,已在 Hugging Face 开放权重。
- PhoneLLM Mini(30B):基于 Nemotron 3 Nano,追求最低延迟(TTFAT 低于 100ms)、最小体积与成本;多轮对话与工具调用表现良好,单张 B200 可跑超 100 个并发 agent,RTX 5090 可本地运行。
- PhoneLLM Max(120B):基于新发布的 Nemotron 3.5 Super VL,主打「microthinking」处理复杂对话任务,TTFAT 低于 200ms,在同能力模型中以约 1/10 的延迟与成本达到 SOTA 任务完成率。
- 附带的 PhoneBench v1.1 榜单显示 Max Alpha 2 得分 83.0%,超过 Claude Sonnet 5.5(80.3%)与 Gemini 3.6 Flash(73.9%)。
- 可通过 AWS、Baseten、Cloudflare、Modal 四家推理伙伴使用。
所属事件:PhoneLLM 双模型开源，首 token 延迟低于 100 毫秒(2 条相关)→
「模型」频道最新
- NVIDIA Nemotron 3.5 Bolt 74B 上架 Ollama,24GB 显存可本地跑 — ollama · 2026-10-16
- NVIDIA Nemotron 3.5 Bolt 74B-A9B 登陆 Ollama，2-bit 量化塞进 24GB 本地跑 — ollama · 2026-10-16
- 120B 总参 12B 激活:Nemotron 3.5 Super 用 Mamba-2 混合架构,支持 1M 上下文 — ollama · 2026-10-16
- NVIDIA Nemotron 3.5 Super VL 上线 Ollama,单 GPU 吞吐提升 5 倍 — ollama · 2026-10-16
- 开发者反驳「dsv4.1 flash 约等于 Opus 4.8」：交互与长程决策差远了 — mertdumenci · 2026-10-16
- Meta Muse Wonder 登陆 Cursor,CursorBench 46.1% 创 Muse 系最高 — AIatMeta · 2026-10-16