ggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用
jacek2023 · reddit · 2026-10-14
llama.cpp 作者 ggerganov 提交 PR #30459,新增 --spec-draft-n-ubatch 参数,用于优化 speculative decoding 时的 VRAM 占用,用户可借此调优本地部署的显存使用。
「Infra」频道最新
- 黄仁勋的算盘：扶植 CoreWeave 在大客户与英伟达间筑起缓冲层 — AccBalanced · 2026-10-14
- 64GB 版 Nvidia Spark 欧洲售价 6574 欧元,比官方贵出离谱 — AIFlow_ML · 2026-10-14
- Toby Ord：押注算力与能力的整体关系，而非盯着单一瓶颈 — ben_j_todd · 2026-10-14
- Fractile CEO:AI 已能指导芯片实验,瓶颈转到了实验本身 — No Priors · 2026-10-14
- 中国「东数西算」把西部风光 surplus 电力导向 AI 算力 — ingliguori · 2026-10-14
- BitRun 免编译跑 1-bit 模型，M4 Pro 纯 CPU 达 127 tokens/s — The_VibePreneur · 2026-10-14