改 llama.cpp 内存表,实现 Qwen 知识热插拔注入

ortegaalfredo · reddit · 2026-09-03

• 开发者 ortegaalfredo 研究新一代 Qwen 架构时,把 Ngram PLE(预测查找表)当作长期知识库来用:通过修改 llama.cpp 在内存中实时补丁该表,每次 prompt 时更新,无需重新加载模型即可"热插拔"部分知识。
• 效果与限制:由于 embedding 在较浅层注入,输出难以精确控制,但通过一些技巧可以影响模型输出。
• 开源了两个仓库:llama.cpp 修改版 llama.cpp-NLTM 和生成表补丁的 ngram-knowledge-injector。
• 已知约束:PLE 表需内存映射(默认即如此),目前仅在 q8 量化下测试过,需要较大内存。作者认为这可能是低成本训练的新思路,可用来给模型加即时可换的长期记忆。

原文链接 →

「编程与Agent」频道最新

• 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
• Motion 发布通用视频 Agent：剪片、动效设计、仿任意参考视频风格 — mhdfaran · 2026-10-21
• MCP 平台 NitroStack 登顶 Product Hunt 每日第一，聚焦留存与开发者访谈 — EstablishmentFun4373 · 2026-10-21
• CodeRabbit 团队周发 5000 个 PR：机器造机器，招人先看策略游戏时长 — omojumiller · 2026-10-21
• LukeW 总结智能体软件五大 UI 难题:多智能体监控与协作设计 — LukeW · 2026-10-21
• 用 Claude Code 经 ADB 清理安卓电视:删 11 个应用、可用内存涨 90% — edwinarbus · 2026-10-21

更多「编程与Agent」频道 AI 资讯 →