QuixiAI 开源 SlimServe:配套 3090 集群推理方案的项目仓库
QuixiAI · x · 2026-09-06
Eric Harttord 将上述 8×RTX 3090 服务 Qwen3.8-Flash-Next 的方案开源为 GitHub 项目 SlimServe。仓库包含 19,588 次提交,内含 vLLM 集成、基准测试脚本、性能工作日志(perfworklog.md)、3090 部署博客文档,以及 GLM5.2 流水线追踪、Metal 端扩展性记录、量化笔记等工程文档,还配置了 Claude/Gemini 的 agent 协作文件。想复现这套消费级显卡推理配置的开发者可从仓库的博客文档与 benchmarks 目录入手。
「Infra」频道最新
- 华尔街老兵算账:全球最大数据中心耗水仅相当于 3 座高尔夫球场 — rohanpaul_ai · 2026-09-06
- 日本披露 5500 亿美元对美投资协定进展，AI 与半导体将占「极重要」角色 — Polymarket · 2026-09-06
- 8 张 RTX 3090 跑 262K 上下文,Qwen3.8-Flash-Next 达 1200 tok/s — QuixiAI · 2026-09-06
- T-Glass短缺加剧，Kinsus高端ABF月营收损失10-15% — zephyr_z9 · 2026-09-06
- 无凸点混合键合走向实用:Intel Diamond Rapids 率先落地,AMD Zen 传闻跟进 — bookwormengr · 2026-09-06
- Reddit 网友晒本地跑 AI 的硬件配置：大内存主机+轻终端远程访问 — Fun_Kangaroo512 · 2026-09-06