Jetson Thor 推理速度不及预期:仅为带宽理论值六成
resrev3R · reddit · 2026-11-19
Reddit 用户对比 Jetson Thor 与 RTX 5070 Ti 的 LLM 推理表现,发现意外差距:
- 5070 Ti(896 GB/s)跑 Qwen 27B Q4,按带宽估算约 66 tok/s,实测基本符合
- Jetson Thor(273 GB/s)理论应约 20 tok/s,实测仅 12 tok/s,只有理论值的六成
- 更意外的是,在独显上提升显著的 DFlash 在 Thor 上只有不到 2 倍加速,仅略好于 MTP
作者猜测内存带宽是推理瓶颈,但 Thor 的实测表现说明该设备还有其他瓶颈在起作用,发帖求解释。
「Infra」频道最新
- 美光高管确认:3D DRAM 将于 2028/2029 年问世 — firstadopter · 2026-11-19
- AI 基础设施的两条能源时钟:灵活性买时间,容量定规模 — ingliguori · 2026-11-19
- NVIDIA 联手 Voxel51、Encord 直播演示 Cosmos Data Factory 生成训练数据 — NVIDIAAI · 2026-11-19
- 分析师:存储产品已从大宗商品转向价值定价,高利润率可持续 — BenBajarin · 2026-11-19
- 微软开源 2.3B 端侧模型 Aion,明年 1 月起内置 Windows — jacek2023 · 2026-11-19
- 61 秒读完 71 年 13 万 token 病历,推理却花了 11 分钟 — maniac518 · 2026-11-19