开源 4B 决策模型 Mica v0.5：单次判断 19.8ms，比 API 快 25-340 倍
Top-Evidence174 · reddit · 2026-10-22
作者发布 Mica v0.5，一个可在单张消费级 GPU 上运行的 4B 决策模型（Apache-2.0）。
速度（RTX 6000 Ada）：
- 256 tokens 下每次决策约 19.8 ms，32k 长输入约 1.2 s
- 比其他 4B 评审模型快至多 3.8 倍，比 Perplexity 的 27B 决策模型快 12-19 倍，比 API 决策模型快 25-340 倍（配图中 Solar Decide 35B 为 6.74s，慢 340 倍）
- Mica Fast 优化让长输入再快 1.4-1.5 倍；INT8 版比 Q80 GGUF 在 llama.cpp 上快 2-2.7 倍
精度：JevBench Hard 得 84/111，为已测 4B 模型最佳（仅微软 9B Decision-1 更高）；JDI 得 58.8，超过所有测过的 9B 和 35B 模型。作者坦承 JDI 榜首模型多为刷榜训练，他也用了同领域数据（无污染），但主要精力放在真实效果上——训练信号来自 Reddit/Twitter 等处的 200+ 真实用例。
鲁棒性：打乱选项后 97.3% 保持同一答案；支持设阈值输出「不确定」；支持是/否、多选及 2-255 级打分，输入最长 32k tokens。提供 BF16/Q80/IQ4XS GGUF，8GB 显存即可跑。
「模型」频道最新
- OpenAI 额度机制遭吐槽：剩 13% 用量时拒绝手动重置 — AccomplishedSugar490 · 2026-10-23
- 816B Meta 新模型 39 分反输 180B Qwen：开源模型得分/规模图 — BTA_Labs · 2026-10-23
- 文档太大就不干活？Gemini 在 Google Docs 里拒生图 — viksit · 2026-10-23
- 程序员吐槽：人生真正使命是安利大家试试最新 DeepSeek — intellectronica · 2026-10-23
- SubQ Snap 1.1 登顶决策模型指数，384K 上下文与低幻觉率取胜 — ArtificialAnlys · 2026-10-23
- PolyAI 推 Dialog-RSN-1 语音模型：单 pass 直听音频，响应快于 300ms — matthen2 · 2026-10-23