llama.cpp PR 将 Qwen Flash 索引器显存占用减半
jacek2023 · reddit · 2026-10-03
llama.cpp 仓库合并了一个针对 Qwen 的优化 PR(qwen4exp):通过将 indexer score 显存占用减半,让 Qwen Flash Next 运行时占用更少 VRAM。对在本地跑 Qwen 长上下文/注意力相关功能、显存紧张的用户是直接的体验提升,PR 已进入 ggml-org/llama.cpp 主线。
「Infra」频道最新
- 创业公司晒与黄仁勋合作经历:7分钟回信、入驻 NVIDIA 战情室,本地 AI 性能提升 9.6 倍 — bgmshana · 2026-11-18
- AMD 系 TensorWave 与 OpenAI 签 6 年 457MW 算力协议 — Beth_Kindig · 2026-11-18
- 英伟达蒸发万亿美元,资金或流向 Anthropic IPO — xiaosun86 · 2026-11-18
- NVIDIA 不再只是供应商:已成 AI 生态的投资者与客户 — sidjustice_ · 2026-11-18
- 180B 模型跑进 16GB MacBook:MoE 专家卸载到 SSD,内存仅 9GB、快 14 倍 — XiongChenyan · 2026-11-18
- Polymarket 预测 Nvidia 财报超预期概率达 90% — Polymarket · 2026-11-18