约 30B 参数稠密多模态模型曝光：架构解析与实验优势
A_K_Nain · x · 2026-08-10
开发者在社交媒体上分享了一款疑似新发布的 30B 参数模型的架构细节，并对其潜力表示期待。
关键架构信息：
- 稠密模型，配有独立的视觉编码器。
- 采用 SSSL、SwiGLU 和 RoPE 技术。
- 共有 52 层，词表大小为 202048。
- 支持多模态。
观点评价：作者认为，作为一款稠密模型，这是该版本最强大的优势所在，因为稠密架构比 MoE 更容易进行小规模的微调和实验。如果性能达标，它有望成为小规模实验的首选模型。
所属事件:疑似30B至400B参数新模型架构曝光引热议(2 条相关)→
「模型」频道最新
- Mistral 发布 30 亿参数开源内容审核模型 — thione · 2026-08-11
- OpenAI 升级 GPT-5.6 Sol，事实错误率降低 68% — thione · 2026-08-11
- 前 Reddit CEO 吐槽 Claude 说话风格：过度戏剧化且难以纠正 — ZeroStateReflex · 2026-08-10
- 开源逼近闭源：WebDev 代码竞技场分差仅剩 10 分 — arena · 2026-08-10
- Gemma新闻写作微调版更新：标题更精炼但正文或过简 — ivan_bezdomny · 2026-08-10
- 开发者反思：o3后模型编码变强，但写作与对话体验变差 — ivan_bezdomny · 2026-08-10