AI Agent 用 TensorRT 把 Orpheus 3B 推理 RTF 从 1.03 压到 0.87
TheMoonMidas · x · 2026-09-27
开发者让 AI Agent Astra 测试并优化一个旧的 Orpheus 3B TTS 部署(基于 TensorRT-LLM + SNAC 解码的 WebSocket 语音服务),在 16 路并发生成下把实时率 RTF 从 1.03 降到 0.87。作者称去年 12 月用 GPT 尝试同样任务没能做到。配套开源了 orpheus-tts-api 仓库,支持男女声、请求取消、静音裁剪与可选遥测,部署需 Linux + NVIDIA GPU + CUDA 13.1,提供 Docker 部署方案。
「编程与Agent」频道最新
- OpenAI 启动首期 Codex Physical Builds,全球 35 名开发者入选 — OpenAIDevs · 2026-09-27
- Opus 5.5 串起 Blender、图像生成与 three.js，浏览器里跑出 3D 场景 — burny_tech · 2026-09-27
- Claude 将砍掉 plan 模式，同日 Google 才宣布上线该功能 — dotey · 2026-09-27
- Gary Marcus 转发警告：大团队用 AI Agent 或已有未知安全事故 — GaryMarcus · 2026-09-27
- 热议演讲：手写代码已不再是经济上有价值的生产活动 — AccBalanced · 2026-09-27
- 他用 Creatr 复刻 ChatGPT 界面原型,二月预测基本应验 — koltregaskes · 2026-09-27