Hermes 上线本地后端：支持 DeepSeek-V4-Flash 等模型 UD-Q4 量化
maximelabonne · x · 2026-09-05
danielhanchen 宣布 Hermes 新增本地后端支持，可用 Unsloth 的 UD-Q4KXL 和 UD-Q4KM 量化格式本地运行 DeepSeek-V4-Flash、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Qwen3.8-Flash-Next 等模型。maximelabonne 回复提议进一步做更小的模型，暗示量化与端侧规模还有下探空间。
所属事件:Hermes 上线本地后端，可一键运行 Unsloth 量化模型(2 条相关)→
「Infra」频道最新
- DeepSeek 拟在内蒙数据中心部署至少 16 万颗华为新一代 AI 芯片 — Polymarket · 2026-09-05
- 曝 DeepSeek 将在内蒙古新数据中心部署至少 16 万颗华为新一代 AI 芯片 — Polymarket · 2026-09-05
- 英伟达指引 FY28 营收 6910 亿美元,非超大规模云客户已占半壁江山 — Beth_Kindig · 2026-09-05
- Coatue 拟与芯片初创 MatX 设合资公司，豪掷数十亿美元买产能 — steph_palazzolo · 2026-09-05
- Mac M5 Max + Ubuntu 4090 本地跑 Opus 级编码 agent，速度近 2 倍 — julianharris · 2026-09-05
- GPU推理价值无统一度量标准，算力期货正赌在这些指数上 — AccBalanced · 2026-09-05