实测：Qwen Engram 压缩潜力与 Zipf 分布
I-am_Sleepy · reddit · 2026-08-28
用户对 Qwen 3.8 Next 的 Engram 组件（约 51B 参数的 n-gram 缓存）进行了深度实证分析。基于 4000 万 Token 的追踪显示，其访问呈高度 Zipf 分布：前 1% 的行承载了 74% 的访问量，76% 的行从未被触及。研究发现，低秩分解和头部剪枝无效，而简单的频率剪枝（保留 50%）效果显著，但跨域泛化能力较差。
「研究」频道最新
- RLVR 微调致解空间坍缩，加入 replay 缓冲可保多样性并提升 pass@8 — manoelribeiro · 2026-10-15
- ModeBench 揭示 RLVR 让 LLM 只会一种解法，Re:Max 训练法可保解法多样性 — manoelribeiro · 2026-10-15
- NYU 团队推出 SCOOP：用策略协调循环让 LLM 学会真正探索 — jaseweston · 2026-10-15
- Google WeatherNext 助 NHC 预报飓风 Isaias，提前 3 天锁定路径误差 60 公里内 — PeterWBattaglia · 2026-10-15
- MIT 用简单局部突触规则让神经网络自建学习机制 — ChuckDBrooks · 2026-10-15
- 中科大提出 VASPO:自蒸馏结合特权价值估计改进 PPO 推理 — ustc-community · 2026-10-15