RTX 5090跑翻译要40天？开发者求助高效小模型方案
a9udn9u · reddit · 2026-08-07
开发者需要将约 67 万条英文短文本（平均 40-70 词）翻译成 5 种语言。在 RTX 5090 上使用 Qwen 27B 和 35B 模型测试，速度仅约 60-70 TPS（每条耗时 5 秒），预计全部跑完需要 40 天。
调整 batch size 并未明显改善吞吐量。发帖者正考虑尝试更小的量化版本或 MTP 等方案，并向社区求助是否有适合简单、忠实翻译商品描述的轻量级模型。
「Infra」频道最新
- AWS 14年老兵万字长文：如何构建云级可扩展控制平面 — TheNickWalsh · 2026-08-07
- 马斯克：德州Terafab将成为地球上最大最值钱的建筑 — beffjezos · 2026-08-07
- VIGIL：终端实时硬件功耗监控仪表盘，支持CPU/GPU/RAM — tom_doerr · 2026-08-07
- ComfyUI 节点优化：MiniMax H3 生成耗时锐减 30% — nnorbbi · 2026-08-07
- DARPA 启动 ScAN 计划：研发模拟神经网络以突破算力瓶颈 — inductionheads · 2026-08-07
- MiniMax H3本地实测：开源视频生成迎来HD与原生音频 — MattVidPro · 2026-08-07