Llama 应用一键本地运行决策模型，新增 d1-Omni 与 d3-flash
huggingface · x · 2026-11-05
llama.cpp 团队与 Hugging Face 旗下桌面应用 Llama 宣布支持两类「决策模型」，用户在本地一键运行即可对文档加分类问题的每个选项快速拿到校准概率。
- d3-flash（vLLM-SR Decision 3.0 家族）：Jev Decision Index 榜首（98 分），支持文本、JSON、图像和视频，6.6 GB 的 Q4KM 量化，Apache-2.0 开源。
- d1-Omni-2B（Liquid AI）：全模态决策模型，可处理文本、图像、音频乃至语音提问，仅 2B 参数、1.85 GB Q80 量化，笔记本即可运行。
典型用途包括工单路由、内容审核、选择 agent 下一步动作等，主打低延迟本地推理。
「Infra」频道最新
- 不用 LLM 监控 LLM：Olki 用类型系统为 Agent 行为分类 — bigdata · 2026-11-05
- tiny-llm 开源课程：在 Apple Silicon 上手写迷你 vLLM 推理引擎 — alexcovo_eth · 2026-11-05
- DeepSeek 峰时 API 收双倍价：错峰跑任务 token 成本可省一半 — AccBalanced · 2026-11-05
- RTX PRO 5500 Blackwell 定价 17999 美元,反超旗舰 RTX PRO 6000 — panchovix · 2026-11-05
- Nemotron 3.5 Bolt E4B 跑上 Jetson Nano:27.7 tok/s,比 llama.cpp 快 1.8 倍 — Course_Latter · 2026-11-05
- 曝月之暗面租欧洲数据中心 Blackwell，欲租 8000 卡绕开出口管制 — rohanpaul_ai · 2026-11-05