约 30B 参数稠密多模态模型曝光：架构解析与实验优势
A_K_Nain · x · 2026-08-10
开发者在社交媒体上分享了一款疑似新发布的 30B 参数模型的架构细节，并对其潜力表示期待。
关键架构信息：
- 稠密模型，配有独立的视觉编码器。
- 采用 SSSL、SwiGLU 和 RoPE 技术。
- 共有 52 层，词表大小为 202048。
- 支持多模态。
观点评价：作者认为，作为一款稠密模型，这是该版本最强大的优势所在，因为稠密架构比 MoE 更容易进行小规模的微调和实验。如果性能达标，它有望成为小规模实验的首选模型。
所属事件:疑似30B至400B参数新模型架构曝光引热议(2 条相关)→
「模型」频道最新
- Artificial Analysis 榜单:GLM 5.3 Flash 得 39 分,以更小体积超越 Mistral 4 Large — airesearch12 · 2026-10-16
- 基于 Qwen3-4B 的开源 ASR 模型 Hojo-ASR 取 3.54 平均 WER — rohanpaul_ai · 2026-10-16
- Google 在 Antigravity 中设 Paid Pro 付费墙，Pixel 与订阅用户不满 — Chance-Okra-5920 · 2026-10-16
- GLM 5.3 Flash 现已在 OpenCode 免费开放 — DanielLockyer · 2026-10-16
- GPT-6 Sol 开药水店零失误，推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- Codex 用户转投 Claude:称 Opus 5.5 体验领先且 App 优化好 2-3 倍 — ItchyResearcher5671 · 2026-10-16