开源 4B 决策模型实测：Mac mini 上单次前向约 11 次决策/秒
const_reborn · x · 2026-11-05
MacrocosmosAI 发布首个公开模型 IOTA Decide 4B v0.4（Apache-2.0 开源权重），专做结构化决策：输入状态（工单、政策、agent trace）加问题，单次前向传播输出每个答案的概率。第三方实测（64GB M5 Pro Mac mini，bf16 全精度跑 GPU）：
- 加载 12.8 秒，峰值显存 10.7 GB；
- 约 130 token 的短工单：yes/no 88ms、三选一 105ms、三级评分 88ms，约每秒 11 次决策；
- 官方示例（30 天保修政策下 45 天退款申请）三问 277ms 全部回答且结果稳定：符合条件 2.2%、路由到退款团队 86%、紧急度低 63%；
- 1k token 状态约 0.6s/决策，4k token 约 2.6-3.0s；
- 注意这些是下限：Mac 上线性注意力层仍跑在 PyTorch 未优化路径上。
模型称跨全球分布式 GPU 用其 SDK 训练，Pareto 最优。适合需要低延迟、可重复结构化判断的 agent/工单场景。
「编程与Agent」频道最新
- 医疗 AI 催收智能体实战：单独回复没问题，连读十条就露馅 — alex_verem · 2026-11-06
- Warp 终端获赞:快速省内存的开源 ADE,支持 agent 编排 — vikvang1 · 2026-11-06
- 基于 Karpathy autoresearch 思路的 Prompt:让 Agent 只需你批准最后一步 — CurieuxExplorer · 2026-11-06
- Pinokio 8.3.7 发布：因 eMudhra 证书事件转向安全优先架构 — cocktailpeanut · 2026-11-06
- 密码学家：可验证 LLM 或让智能体互信协作成为可能 — matthew_d_green · 2026-11-06
- 开发者抱怨 Claude Code 近期质量暴跌:同样的模型表现差得多 — IanArawjo · 2026-11-06