开源 33B 多模态模型 Agnes-3.0-Flash:混合注意力架构,262K 上下文
Skyline34rGt · reddit · 2026-09-12
Agnes-AI 发布开源 33B 多模态模型 Agnes-3.0-Flash（Artificial Analysis 评分 36，且被其误标为专有模型）。架构为混合注意力解码器：每 4 层中 3 层是门控 delta rule 循环层（状态与序列长度无关），1 层是全局注意力，72 层中仅 18 层持有 KV cache。
关键规格：
- 262,144 token 上下文，词表 248,320
- 全局注意力层用 6:1 GQA（24 query heads / 4 KV heads），delta-rule 层 16 key / 48 value heads，循环状态 fp32
- SwiGLU 前馈 + 每层并行 SwiGLU 分支；三轴 mrope 旋转位置编码
- 27 层视觉塔，支持文本、图像、视频理解，可调推理强度，支持工具调用
所属事件:神秘开源模型 Agnes-3.0-Flash 登榜，评测信息引质疑(3 条相关)→
「模型」频道最新
- 「一宕机就进化」:DeepSeek 疑似偷偷升级被鹈鹕图抓包 — teortaxesTex · 2026-10-31
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31