QuixiAI 开源 SlimServe:配套 3090 集群推理方案的项目仓库
QuixiAI · x · 2026-09-06
Eric Harttord 将上述 8×RTX 3090 服务 Qwen3.8-Flash-Next 的方案开源为 GitHub 项目 SlimServe。仓库包含 19,588 次提交,内含 vLLM 集成、基准测试脚本、性能工作日志(perfworklog.md)、3090 部署博客文档,以及 GLM5.2 流水线追踪、Metal 端扩展性记录、量化笔记等工程文档,还配置了 Claude/Gemini 的 agent 协作文件。想复现这套消费级显卡推理配置的开发者可从仓库的博客文档与 benchmarks 目录入手。
所属事件:Eric Hartford 解锁消费卡 P2P 并开源 SlimServe(10 条相关)→
「Infra」频道最新
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- Linux 内核模块解锁 RTX 3090 半速张量核心，BF16 算力提升 1.9 倍 — UltramanQuar · 2026-10-23