Hermes 上线本地后端，一键运行 Unsloth GGUF 量化模型
danielhanchen · x · 2026-09-04
Unsloth 宣布其 GGUF 量化模型现可在 Hermes 中一键本地运行，danielhanchen（Unsloth 作者）确认 Hermes 已新增本地后端，支持 DeepSeek-V4-Flash、Qwen3.8-27B、3.6-35B-A3B 和 Qwen3.8-Flash-Next 的 Unsloth UD-Q4KXL 与 UD-Q4KM 量化版本。
所属事件:Hermes 上线本地后端，可一键运行 Unsloth 量化模型(2 条相关)→
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21