开发者:用过 sglang 跑 Qwen 27B 后,再也不想用云端模型
gnukeith · x · 2026-08-19
一位开发者表示,在本地用 sglang 部署运行 Qwen3 27B 和 Nemotron 3.5 Lightning 之后,体验好到让他觉得「真的再也回不去云端模型了」。这代表了开源模型+本地推理栈(如 sglang)体验持续提升的趋势。
「Infra」频道最新
- LifeOS:基于本地模型的语音驱动个人管理工具 — Extension-Bid-639 · 2026-08-24
- 超算中心硬件选型:SSD与HDD的密度权衡 — generativist · 2026-08-24
- 三星展示 HBM 散热新方案,芯片性能存差异 — BenBajarin · 2026-08-24
- Tobi 开源 walgit:无数据库的单二进制 Git 服务器 — jevon · 2026-08-24
- s3collections:用S3构建分布式系统持久化数据结构 — andersonbcdefg · 2026-08-24
- 预测市场:年底前美一州实施数据中心禁令概率 68% — Polymarket · 2026-08-24