长尾开源模型为何难有托管 API
Guilty-Prize-3697 · reddit · 2026-07-08
开发者吐槽：Hugging Face 上的开源模型（尤其长尾社区微调、角色扮演、小众 coder 模型、各类 GGUF）在本地 Ollama/llama.cpp 跑得很好，但想接入真实应用却没有现成托管 API。常见出路是自租 GPU、用 vLLM/llama.cpp 在 Modal/RunPod/Replicate 等自部署，或指望 OpenRouter/Together/Fireworks/DeepInfra 恰好上线该模型，并讨论了选型时价格、模型可用性、OpenAI 兼容、隐私等因素。