不改一个权重,往 Qwen 的 n-gram 表里写 100 条事实,准确率 84%
Electronic_Put4530 · reddit · 2026-09-21
作者利用 Qwen3.8-Flash-Next 附带的 3.2 亿行 n-gram 查找表(DeepSeek 称 Engram, llama.cpp 称 PLE table——每步取前 2/3 个 token 哈希到 16 行并加进残差流),实现了不改任何权重、只训练表行的知识注入,称为 ENGRAFT。产出仅是一个 9 MB 的 overlay 文件,删掉即恢复原模型。
关键数据
- 测试集「Quail」:100 条虚构事实,3209 句训练、841 句未见测试;带 overlay 准确率 0.841,基线模型 0.005;换种子重跑 0.873
- 按问法分类(chat/改写/陈述/疑问/完形)仅差 9 个百分点,说明不是死记句式;另一语料在 300 条时仍无天花板
- 三语对比:意 0.841 / 英 0.797 / 中 0.676,中性文本附带损伤约 0.013-0.017
- 训练 14032/320M 行,在 AMD Ryzen AI MAX+ 395 小主机集成 GPU 上 2.4 小时完成
作者声明项目在 Claude Code 会话中由一人驱动完成:他定目标、拍板、跑硬件,设计/实现/对抗审查/验证由不同模型实例分工。现在公开求业内高手复现打破。
「Infra」频道最新
- 双卡 R9700 本地推理踩坑:从 LGA1700 升级 Threadripper 的 PCIe 通道账 — El_90 · 2026-09-21
- Komlós 猜想被宣布解决,数学家点出其对神经网络量化的隐含意义 — stevenstrogatz · 2026-09-21
- 英伟达点名 5 家用 AI 做清洁能源的公司：电网评估从 45 天缩到 2 分钟 — nordicinst · 2026-09-21
- Mozilla 实测:本地 30B 模型零 API 全程自动开出真实 PR — mozilla-ai · 2026-09-21
- NVIDIA 盘点 5 家 AI 清洁能源公司：电网审核从 45 天缩到 2 分钟 — NVIDIA Blog · 2026-09-21
- Cohere Labs 推出 Local AI 社区计划,聚焦本地推理与硬件调优 — Cohere_Labs · 2026-09-21