Meta Muse Glimmer 30B 惊人架构：原生支持 512k 上下文
mr_il · reddit · 2026-08-17
作者通过修改配置将 Muse Glimmer 30B 的上下文从 128k 扩展至 512k，无需 LoRA 等常规手段，并在多项基准测试中取得优异成绩。
架构发现：
- 该模型架构独特，全 GQA 注意力层无位置编码，仅 2048 宽度的 SWA 层带 RoPE。
- 这种设计依赖 SWA 层与上下文推断长距离关系，使其极易于扩展上下文。
实测结果 (512k tokens)：
- Needle in a Haystack (1/4 needles): 100%
- Multi-hop retrieval: 100%
- Semantic lookups: 100%
- Memory (Agentic session): 100% (至 385k)
- LongBench v2: 性能无衰减
- LongCodeQA: 性能无衰减
- Counting instances: 在超长序列下性能有所下降 (385k 时 60%，512k 时 22%)。
代码与报告已开源。
「模型」频道最新
- Meta 开源编程模型 Muse Spark Open 上线 Modal，主攻长程智能体任务 — AAAzzam · 2026-10-16
- 谷歌发布 Gemini 4 Argon 旗舰模型，附 10 个官方演示 — Saboo_Shubham_ · 2026-10-16
- RL 从业者:手上近万个任务仍能让所有前沿编码模型翻车 — max_paperclips · 2026-10-16
- 自建物种识别 eval 一年后被超越：Gemini 3.5 Flash 得 67% 胜过作者本人 — johnowhitaker · 2026-10-16
- 研究者吐槽 Claude 总说教,批评科技公司观点会被反驳 — BlancheMinerva · 2026-10-16
- 图表显示 Meta 已 492 天无开源模型发布，Llama 4 成绝唱 — demian_ai · 2026-10-16