Hermes 上线本地后端：支持 DeepSeek-V4-Flash 等模型 UD-Q4 量化
maximelabonne · x · 2026-09-05
danielhanchen 宣布 Hermes 新增本地后端支持，可用 Unsloth 的 UD-Q4KXL 和 UD-Q4KM 量化格式本地运行 DeepSeek-V4-Flash、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Qwen3.8-Flash-Next 等模型。maximelabonne 回复提议进一步做更小的模型，暗示量化与端侧规模还有下探空间。
所属事件:Hermes 上线本地后端，可一键运行 Unsloth 量化模型(2 条相关)→
「Infra」频道最新
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21
- DeepSeek 开源 V4.1-Flash 背后的推理引擎 DeepInfer — The Decoder · 2026-10-21
- 机器人推理平台上线 Deployments:可云端部署 HF 微调模型 — arnie_hacker · 2026-10-21
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21