呼吁本地模型避免 BF16 格式以适配 Strix Halo 显卡
DevelopmentBorn3978 · reddit · 2026-08-23
作者呼吁 AI 实验室在构建本地语言模型量化版本时，尽量避免使用 BF16 张量格式。这一改变将显著惠及 Strix Halo 用户。作者还建议在 .GGUF 文件命名中引入新标签（如 -SH-）来明确标识不含该张量格式的模型。
「Infra」频道最新
- Mistral 被曝 2030 年前在欧洲布局至多 1GW 算力 — emmanuelvivier · 2026-08-23
- Nvidia 部分 AI 产品涨价超 15%，内存成本飙升所致 — emmanuelvivier · 2026-08-23
- Nvidia 部分 AI 产品涨价超 15%,归因于内存芯片成本飙升 — emmanuelvivier · 2026-08-23
- AI 与 RAG 必读：新闻搜索 API 深度横向对比 — ermanos12 · 2026-08-23
- Unsloth 版 Qwen3.8-27B 移植 MTP 模式，显存占用更低 — Nyghtbynger · 2026-08-23
- 8 张 B300 跑 Kimi K3:每百万 token 成本 190 美元,附完整部署账单 — OtherRaisin3426 · 2026-08-23