llama.cpp 新增 TENSOR_READ_LAZY，MoE 模型活跃参数不再常驻显存
jacek2023 · reddit · 2026-08-27
llama.cpp 收到 PR #27794（作者 ngxson），在 modelloader 中加入 TENSORREADLAZY 选项。核心收益是让 Qwen3 Next（社区俗称 Qwen4 预览）这类 MoE 架构中只在激活时需要的专家张量（engrams）不必常驻 VRAM/RAM，按需惰性加载，从而显著降低本地运行大模型的内存门槛。
「编程与Agent」频道最新
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15