LLM尺寸档位和硬件对应关系

DeepOrangeSky · reddit · 2026-07-09

帖子在问，常见本地 LLM 的尺寸档位（如 30B、70B、120B、230B）到底是按什么硬件约束来设计的，是面向专业显卡、消费级显卡显存，还是量化后的混合考量。作者特别想了解这些常见尺寸段为何会形成固定“档位”，以及这些档位分别对应什么样的服务器或桌面部署条件。