Nace AI 发布 50 页决策模型完整训练手册,Drex 系列开源且可本地部署
m4rkGS · reddit · 2026-11-06
Nace AI 研究实验室发布 50 页技术报告,首次系统公开其 Drex 决策模型的架构、数据、训练与评测全流程,模型此前已开源。
模型与架构
- 9B 到 35B 参数的模型家族,涵盖 Dense Causal Transformer、Diffusion LM、MoE 等架构
- 实验性设计包括部分/完全双向注意力、稀疏注意力、调优的指针决策头
训练
- 约 115 万条已验证决策记录上的全参数 SFT
- 针对选项排序与状态扰动的 consistency training
- RLAF(Reinforcement Learning from Adjusted Feedback),结合验证结果与 judge 反馈
- 消融实验显示:大部分提升来自 SFT,RLAF 增益较小但改善了校准
评测
- Drex v1.5 在 32K–128K 长上下文基准上准确率 93.4%
- Drex v2.0 在约 11.5 万条留存决策上校准 ECE 仅 1.37%
- 选项顺序打乱仅改变 4–6% 决策的 top 答案,总体准确率不变
- 128K 上下文延迟低于 100ms
模型提供 safetensors 与 GGUF 格式,支持 llama.cpp 和 Ollama 本地部署,报告含量化、缓存与复现细节。作者指出局限包括 closed-book 知识与缺少同骨干架构消融。适合做本地 agent 路由、工具选择或自训决策模型的开发者参考。
所属事件:Nace AI 开源决策模型 Drex，挑战自回归推理(6 条相关)→
「编程与Agent」频道最新
- bas-guard 开源:一条命令给 Claude Code 环境做离线杀毒式扫描 — victor_explore · 2026-11-06
- 开源 TMail：给 AI Agent 配专属私人邮箱，跑在 Tailscale 内网 — evilsocket · 2026-11-06
- 15 年老站迁移 Emdash：307 篇文章像素级搬完，速度分 52 升至 75 — ritakozlov · 2026-11-06
- LLVM 开发者大会热议:Agent 时代如何造不烂的开源基建 — clattner_llvm · 2026-11-06
- DavidKPiano 力挺状态机:AI 找出的 bug 多到「让人恨」 — DavidKPiano · 2026-11-06
- LLM 智能体记忆新架构论文过审：四层「组织共享皮质」设计 — letandrewcook · 2026-11-06