开源 27B 决策模型 Drex-Max v1:单次前向出答案,M5 Pro 上 400ms
m4rkGS · reddit · 2026-11-01
Nace.AI 开源了 Drex-Max v1,一个 27B 稠密多模态「决策模型」(Open RAIL-M 协议),与传统 LLM 生成文本不同,它不产出任何 token:输入上下文(文本/JSON/高分辨率图像)加若干命名问题,255 路读出头部在单次前向传播中直接给出候选答案的概率分布。
架构要点
- 无解码循环,最后隐藏状态直接映射到最多 255 个选项的概率
- 64 层混合骨干:48 层 Gated DeltaNet 线性注意力 + 每 4 层一层双向全注意力(共 16 层)
- 默认 16K 上下文,可扩到 262K;每张图最高 4.2M 像素,批内多问题共享一次图像编码
性能与部署
- 结构化决策基准 67.52 分,超过自家 35B 的上一代 Drex v2.0(61.25)
- Vision Index 73.92:InfographicVQA 97.3、KIE 92.4、Winoground 85.0 等
- Apple Silicon:Q80 GGUF 约 27GB,M5 Pro 48GB 上单次决策约 400ms,与 H100 bf16 概率差 <0.02
- CUDA bf16 约 48.6GB 显存;8-bit 模式约 25.9GB(L40S)
提供 Python SDK 与 llama.cpp/Ollama fork,支持 Metal 与 CPU 本地推理,适合工单分诊等结构化分类决策场景。
「编程与Agent」频道最新
- Databricks 工程师评 Anthropic 自研版本控制 Scion:迁移快但疑点不少 — ricklamers · 2026-11-02
- Thorsten Ball 质疑分支与 PR：AI 时代直接 push 到 main 即可 — RealGeneKim · 2026-11-02
- Jez Humble 演讲:AI agent 时代 CI/CD 如何在行星规模运转 — RealGeneKim · 2026-11-02
- Super-agent 架构实测:上下文管理设计让任务提速近半 — Hesamation · 2026-11-02
- Jez Humble:大家终于重新拥抱 trunk-based 开发与真 CI — RealGeneKim · 2026-11-02
- AI 计划看似完美却造出鱼缸:一个 agent 执行翻车案例 — jimmykoppel · 2026-11-02