实测 FP8 比 GGUF 快 5 倍，GGUF 还有什么用？
ROBOTTTTT13 · reddit · 2026-08-20
用户在 6GB 显存 + 16GB 内存的低配机器上实测发现，FP8 格式的模型运行速度远超 GGUF 格式，速度提升可达 5 倍。以 Flux 2 Klein 9B 为例，GGUF 工作流耗时 100-200 秒，改用 FP8（仅 Text Encoders 保留 GGUF）后仅需 20-30 秒。用户对为何体积更大的 FP8 模型反而运行得更好感到困惑，并质疑 GGUF 在 2026 年的适用性。
「Infra」频道最新
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16