统一内存为何能跑70B模型
ermantrout · hn · 2026-07-10
文章解释了为什么带统一内存的迷你主机有时能跑 70B 模型，而一块“大 GPU”反而不一定更合适。 核心思路是： - 统一内存把 CPU/GPU 可访问内存做了更灵活的共享，能容纳更大的模型权重。 - 真正的瓶颈往往不是“能不能装下”，而是带宽、延迟和实际吞吐。 - 文章同时提醒：虽然能跑更大的模型，但速度通常会明显受限，尤其是在需要高吞吐的场景里。
ermantrout · hn · 2026-07-10
文章解释了为什么带统一内存的迷你主机有时能跑 70B 模型，而一块“大 GPU”反而不一定更合适。 核心思路是： - 统一内存把 CPU/GPU 可访问内存做了更灵活的共享，能容纳更大的模型权重。 - 真正的瓶颈往往不是“能不能装下”，而是带宽、延迟和实际吞吐。 - 文章同时提醒：虽然能跑更大的模型，但速度通常会明显受限，尤其是在需要高吞吐的场景里。