RTX 3090 是 LLM 玩家第二大 GPU,为何没人用原生 INT8?
TheOnlyBen2 · reddit · 2026-09-02
发帖人注意到:据 Hugging Face 硬件统计,RTX 3090 是 LLM 爱好者使用量第二高的 GPU,而 3090 拥有原生 INT8 Tensor Core,理论上 INT8 W8A8 量化能有更好性能,但社区默认都在用 FP8 或更小的量化位宽,因此发帖求解其中的原因。
「Infra」频道最新
- GLM-5.3 模型推出 GGUF 量化版,适配端侧部署 — unsloth · 2026-09-02
- Asus AI PC 价格暴涨 50%,市场预测 DGX Spark 将涨价 — mountainyoo · 2026-09-02
- 用户反馈:GPT 基础设施数月未宕机,资源限制管理出色 — natesiggard · 2026-09-02
- 微软两篇 LLM 数据库相关论文获 VLDB 2026 奖项 — jm_alexia · 2026-09-02
- 本地 RAG 应否常驻空闲算力?架构权衡讨论 — Cautious_Bit_8521 · 2026-09-02
- M1 Max 性能更强:Qwen 3.8 在 128k 上下文跑出 72 tok/s — EyalToledano · 2026-09-02