把 Qwen3.8 的 n-gram 记忆移植进 0.8B 小模型，困惑度降 5.05%
Nicolodeva · reddit · 2026-09-25
独立实验 Qwengram-0.8B：作者尝试把 Qwen3.8-Flash-Next 预训练的约 51B 参数 PLE n-gram 记忆迁移到 Qwen3.5-0.8B 上。骨干与 PLE 记忆全部冻结，仅在解码器第 3、9 层训练一个 R=1 reader，配合 token 级动态线性门控做后层注入，不做任何骨干微调。在完整验证集上 NLL 从 2.906 降至 2.854，困惑度从 18.28 降至 17.35（降 5.05%）。
关键发现
- 真实预训练 PLE 优于随机记忆与置换记忆对照
- reader 训练 20M token 时聚合损失更低但数学回退，最终选 15M 平衡点；R=4 reader 会引入代码与数学回退，保留 R=1
- 固定后层注入伤 LAMBADA，动态 token 级门控能恢复大部分损失；同记忆预算下学习式放置优于按不确定性路由
- Q80 量化保留 99.1% 的 BF16 reader 增益
已在 llama.cpp 实现推理路径，PLE 以外部量化 sidecar 形式加载。模型/训练代码/运行时均已开源，作者计划下一步在 35B-A3B MoE 上复现。
「模型」频道最新
- 谷歌开源 Harness²：能自己改写系统配置的智能体框架 — Arindam_1729 · 2026-11-11
- 开发者吐槽 Codex 桌面版质量差，弃用客户端改走 CLI — tekbog · 2026-11-11
- 旧模型发布前「变笨」？网友调侃：其实是实验室开派喝醉了 — glcst · 2026-11-11
- Grok Bot 新增隐藏指令检测：发现 prompt 注入即警告并拒绝执行 — XFreeze · 2026-11-11
- 上海创新院开源 Nex-N2.6：321B 多模态智能体模型 — victormustar · 2026-11-11
- Nex-N2.6 发布：约 321B 参数 FP8 开源权重，重复循环失败率从 16% 降至 1.6% — Physical_Hat4022 · 2026-11-11