实测：Qwen Engram 压缩潜力与 Zipf 分布
I-am_Sleepy · reddit · 2026-08-28
用户对 Qwen 3.8 Next 的 Engram 组件（约 51B 参数的 n-gram 缓存）进行了深度实证分析。基于 4000 万 Token 的追踪显示，其访问呈高度 Zipf 分布：前 1% 的行承载了 74% 的访问量，76% 的行从未被触及。研究发现，低秩分解和头部剪枝无效，而简单的频率剪枝（保留 50%）效果显著，但跨域泛化能力较差。
「研究」频道最新
- ConforNets 机制让 AlphaFold3 生成多样化蛋白质构象 — jajoosam · 2026-08-28
- Toby Ord 新论文解构智能爆炸的动力学 — tobyordoxford · 2026-08-28
- LLM 几何流形源于数据统计，非复杂动力学 — burny_tech · 2026-08-28
- 为什么本地 LLM 感觉比云端更笨？技术细节全解析 — JeremyCMorgan · 2026-08-28
- TontaubeV1 发布：2.9B 参数本地长文本 TTS 模型 — EAVDR · 2026-08-28
- Decagon：用说话人嵌入+音频原生模型检测有效说话人切换 — Scobleizer · 2026-08-28