RTX 5090跑翻译要40天？开发者求助高效小模型方案
a9udn9u · reddit · 2026-08-07
开发者需要将约 67 万条英文短文本（平均 40-70 词）翻译成 5 种语言。在 RTX 5090 上使用 Qwen 27B 和 35B 模型测试，速度仅约 60-70 TPS（每条耗时 5 秒），预计全部跑完需要 40 天。
调整 batch size 并未明显改善吞吐量。发帖者正考虑尝试更小的量化版本或 MTP 等方案，并向社区求助是否有适合简单、忠实翻译商品描述的轻量级模型。
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16