实测:RunPod 自托管 Qwen 27B 生成仅 17 tok/s,长输出成本反输 OpenAI
yeah280 · reddit · 2026-09-11
楼主实测用 RunPod Serverless（48GB VRAM，$1.22/小时）自托管 Qwen3.8-27B GGUF Q80（llama.cpp），替代 OpenAI API 处理约 47k token 的视频转录分析任务（输出结构化 JSON）。
关键数据：
- Prompt 处理很快：47,064 token 约 43.87 秒，1073 tok/s；但生成仅 17.2 tok/s，单次近 9k 输出 token 需约 8.7 分钟，每条视频成本 $0.20-0.30。
- 现行 OpenAI 方案（GPT-5.6 Sol，flex 档）：160 万 token 仅约 $5，速度可靠。
- llama.cpp 加载时出现未使用的 NextN/MTP 张量警告，疑似投机解码组件未启用。
- 楼主列举可能的优化：降量化到 Q4KM/Q5、上下文 256k 降到 64k、启用 MTP/投机解码、换 vLLM、换 5090/L40S/H100、禁用思考模式等。
结论倾向：对长上下文大输出任务，OpenAI 优化过的推理在经济性上极难击败，关键是算『单次任务成本』而非 GPU 小时成本。
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28