llama.cpp 新缓存 ClassLRU：MoE 解码提速 6-7%，上传减少 8%
pmttyji · reddit · 2026-11-06
llama.cpp 的 PR #31233 提出用 LRFU/MQ 式混合缓存 ClassLRU 替换 SLRU：按类别优先保留高频使用的专家，并按衰减的使用历史排序。实测热缓存下 QFN 解码提速 +6%、GLM +7%，上传量减少 8%；同时为 llamamoecache 启用 auto 模式铺路，目前等待相关 PR #30966 合并。
「Infra」频道最新
- 线性 token 定价纵容低效:优化后 agent 可只用 30 万 token — JoshPurtell · 2026-11-07
- 分析师：Agent 规模化将引爆企业存储需求，80% 非结构化数据待激活 — BenBajarin · 2026-11-07
- Tokens 被称为伟大金融发明:计费量与创造价值仅松散相关 — JoshPurtell · 2026-11-07
- 曝 Nvidia 联手 Apollo 改造 130 余座老电话机房为 AI 数据中心 — mark_k · 2026-11-07
- Nvidia 招聘动向曝光:不止卖卡,还要贴身服务 AI 原生公司 — AJChadha · 2026-11-07
- Tokens:按量计费却与价值创造 loosely 相关的资源 — lu__jasper · 2026-11-07