Reddit 热议:你的本地 LLM 到底拿来干什么,能跑多少 tk/s?
Ok-Option-82 · reddit · 2026-11-20
楼主坦言自己有「本地 LLM 的 FOMO」,不停换新模型测速度、还盯着新硬件,但困惑于大家实际上用本地模型做什么、该追求多少 token/s 的速度。帖子引发社区分享各自的本地部署用途与吞吐表现。
「Infra」频道最新
- TensorFold 1.3.0 发布:GLM-5.3-Flash 吞吐提升 24% 至 104 tok/s — AIFlow_ML · 2026-11-20
- 开发者用热成像相机验证 AI Agent 真的在操控定制 AI 芯片 — yaroslavvb · 2026-11-20
- 研究称 EUV 光刻功率有望突破 ASML 1 千瓦里程碑 — bronzeagepapi · 2026-11-20
- Liquid d1-2B 决策模型吞吐达同级 LLM 19-30 倍,准确率持平 — mervenoyann · 2026-11-20
- 小型实验室 Cactus Compute 一年发表 12 篇论文,5 篇中 NeurIPS — joemeno · 2026-11-20
- Modular 重建 MAX Module API:类 PyTorch 语法+即时调试 — clattner_llvm · 2026-11-20