HF Jobs 内置服务提吞吐47倍
vanstriendaniel · x · 2026-07-13
作者分享了一个被低估的 **Hugging Face Jobs** 用法：**不要只在 Job 里跑脚本，而是直接在 Job 内把模型服务起来**。 他的做法是把 **sglang server + async driver** 放进同一个 `uv` 脚本里，通过 Hub URL 启动。这样利用 **continuous batching**，在同一块 GPU 上把吞吐从 **3.2x realtime 提升到 47x**。 这个技巧不只适用于 Apollo 11 音频处理，作者认为任何“把一大堆文件丢给模型批处理”的场景都能受益。文中案例是用一个 **0.9B 开源模型 MOSS-Transcribe-Diarize** 做转写、说话人分离和时间戳标注： - 处理了 **174 小时**的阿波罗 11 任务音频 - 总成本 **$9.46** - 103 段录音一次跑完 - 产出 **45,355** 个带时间戳的说话人片段 最终效果是把 NASA 旧录音变成可按“谁在什么时候说了什么”检索的资料库。