Hugging Face 团队梳理:哪些开源 LLM 最适合端侧推理
NielsRogge · x · 2026-09-15
Hugging Face 的 NielsRogge 分享了一份关于「哪些开源 LLM 最适合设备端推理」的对比资源，并附上可在线试用的链接，方便开发者直接上手比较各开源模型在端侧部署场景下的表现。
「Infra」频道最新
- 史上最大芯片支出潮在即，恐慌抛售 AI 芯片股是误判？ — firstadopter · 2026-09-15
- 矿卡 CMP 170HX 刷 64GB 显存、1.49TB/s 带宽,改装实测启动 — _Boffin_ · 2026-09-15
- NVIDIA 四张 B200 跑 Nemotron 3 Ultra，优化后并发用户提升 2.5 倍 — NVIDIAAI · 2026-09-15
- 本地跑模型到底花多少电费?开发者给 harness 加了成本计算器 — giveen · 2026-09-15
- 纯 C99 单引擎同时跑 BitNet 与 GGUF,Xeon 上 36 tok/s — shifu_legend · 2026-09-15
- 开发者求助：用 ChatGPT 订阅 OAuth 顶替 API 做生产应用可行吗 — builtforoutput · 2026-09-15