硬核玩梗:566GB 的 MiMo Pro 塞进 128GB Jetson,跑出 0.646 tok/s

Oswald_Hydrabot · reddit · 2026-10-17

一条自嘲式硬核帖子:作者把约 566GB(FP8)的 MiMo-2.6-Pro 塞进只有 128GB 内存的 Jetson AGX Thor 上跑,首跑速度「高达」0.646 tokens/秒——推理中途从磁盘读权重,逐层艰难挤出 token。

帖子回应 Dario「开源至少能看源码,而模型内部我们看不见」的说法:作者逐层追踪并记录了每个 decoder layer、路由 expert 和 SSD 读取过程,可逐步回放,反问「这怎么看不了?」。配图是 Big Technology Podcast 的画面,整体是「运行即胜利」的名场面 + 技术展示混合体。