DGX Spark 运行 Qwen3.8-27B GGUF 命令示例
ariG23498 · x · 2026-08-17
展示了在 DGX Spark 平台上使用 llama serve 运行 Qwen3.8-27B GGUF 模型的具体命令。配置启用了推测解码(speculative decoding)，包括 spec-default 和 spec-type draft-mtp，以及推理保留和代理模式。
「Infra」频道最新
- 算力壁垒极高：仅头部厂商能负担 — 0xsachi · 2026-08-17
- 华尔街日报：九大科技公司表外藏着 3 万亿美元 AI 义务 — alvelda · 2026-08-17
- llama-server 多模态推理遇报错：位置索引异常 — Gold-Drag9242 · 2026-08-17
- 手持 3090 显卡，如何入手本地部署 Qwen 3.8？ — ozymandizz · 2026-08-17
- Qwen MLX 挑战赛上线，角逐本地模型最快推理 — corruptbytes · 2026-08-17
- 发布六年仍赚钱：NVIDIA A100 为何久战不衰 — Ok-Elevator5091 · 2026-08-17