smolmaxxing 项目：让大模型跑在小旧设备上
mrashad74 · hn · 2026-11-12
作者开源了 smolmaxxing 项目（GitHub: hyperionaidev/smolmaxxing），专注让 LLM 能在小型和老旧设备上运行，探索低端硬件上的本地推理方案。适合关注端侧部署、旧设备再利用的开发者。
「Infra」频道最新
- Batch API 省钱账：50% 折扣要乘以可等待流量占比，且应排在选模型和缓存之后 — arpit_bhayani · 2026-11-13
- RTX Pro 6000 跑通义模型时暴毙,楼主戏称 GPU「心碎而亡」 — wine_dark · 2026-11-13
- 单张 RTX 5090 跑 256 并发请求，Parallax 推理吞吐达 1.8 万 token/秒 — markjeffrey · 2026-11-13
- 谷歌扩容 TPU v8 阵容:8tx 延迟减半,8i Max 同机架硅量翻倍 — Beth_Kindig · 2026-11-13
- Horace He 将在 SGLang Summit 分享两个推理系统思维模型 — cHHillee · 2026-11-13
- 二手 A100 价格再跌 20-30%,卖家赶在崩盘前清库存 — Bascilian · 2026-11-13