新基准测试揭示启用统一内存可显著提升本地大模型显存利用率
Pablo_the_brave · reddit · 2026-08-22
开发者发布 ctx-cliff 基准测试，旨在检测本地 LLM 在特定 llama-server 配置下的 VRAM 崩溃点。测试发现，设置 GGMLCUDAENABLEUNIFIEDMEMORY=1 至关重要，它通过 NVIDIA 硬件 MMU 细粒度管理内存，减少碎片并利用 VRAM-to-RAM 卸载，从而大幅提升显存利用率和 Agent 工作流的稳定性。
「Infra」频道最新
- Flock Safety 公布 AI 处理犯罪数据全流程 — garrytan · 2026-08-22
- Homelable：自托管基础设施可视化工具，支持网络扫描与监控 — tom_doerr · 2026-08-22
- DNA 加钙钛矿做出存算一体器件，功耗降至传统芯片 1% — heyshrutimishra · 2026-08-22
- Matryoshka 框架：一次训练全家模型，算力降 36% — TheTuringPost · 2026-08-22
- 斯坦福 CS336 课程完结：深入 GPU 编程与前沿推理工程 — stanfordnlp · 2026-08-22
- 技术解析：Pi 编程 Agent 的压缩机制如何工作 — bibryam · 2026-08-22