低显存下LLM张量分配与推理速度优化求助

Guilty-Sleep-9881 · reddit · 2026-07-08

用户在RTX 2070(12GB)上运行24B Q4模型，通过正则表达式将部分张量卸载至CPU，并降低KV缓存精度与Batch Size，成功将上下文扩展至16k。现寻求进一步优化张量分配的方法，以利用剩余显存提升推理速度。