固定显存预算下，LLM 量化的最优位宽是多少？

takuonline · reddit · 2026-08-08

Reddit 技术社区展开了一场关于大模型量化位宽最优解的深度讨论。发帖人提出疑问：在固定显存和算力预算的前提下，究竟是选择较小参数量的高精度模型（如 8-bit），还是更大参数量的超低精度模型（如 2-bit 或 1.5-bit）？过去业界常认为 4-bit 是兼顾质量与内存的甜点，但近期研究显示更低比特也具有潜力。跟帖者们从缩放定律、量化退化对参数增益的抵消等角度进行了深入分析。