开源 smol-muse：50M 参数版 Muse Glimmer 架构探索
cneuralnetwork · x · 2026-08-14
开发者发布了 smol-muse，这是一个仅有 5100 万参数的 Muse Glimmer 架构微型实现。该项目基于 TinyStories 数据集进行训练，旨在为 Meta 此前发布的语言模型骨干提供一种轻量级的架构研究与训练方案。
「研究」频道最新
- Sponge Examples 攻击：可使神经网络能耗暴增百倍 — alexbilz · 2026-08-14
- 研究：模型越大越难解释并非定局，Steerling-8b 实现高可解释性 — juliusadml · 2026-08-14
- 探讨 LLM 架构：大词表如何缓解 Softmax 秩瓶颈 — kalomaze · 2026-08-14
- 研究：视觉推理跳过看图直接用工具，性能不降反升 — kwangmoo_yi · 2026-08-14
- Goodfire联创详解AI可解释性：如何应对智能体奖励黑客行为 — mathildepapillo · 2026-08-14
- 成功逆向 Claude 分词器：词表缩减至 1.5 万，但推理成本反增 — kalomaze · 2026-08-14