开源项目 SlimServe：消费级显卡跑量化 LLM 推理
QuixiAI · x · 2026-09-07
开发者 QuixiAI 开源了 SlimServe 项目，主打在消费级硬件（如 RTX 3090）上高效服务量化模型，仓库包含针对 Qwen3 8-bit、GLM-5.2 等模型的部署与调优记录、性能基准与优化 pipeline 日志。项目内含 vLLM 相关代码、量化笔记（quants.md）、Metal 端 scaling 测试与 AMD Marlin GPTQ 支持等实验文档，适合想在本地做低成本 LLM 推理的工程参考。
所属事件:Eric Hartford 解锁消费卡 P2P 并开源 SlimServe(10 条相关)→
「Infra」频道最新
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- Linux 内核模块解锁 RTX 3090 半速张量核心，BF16 算力提升 1.9 倍 — UltramanQuar · 2026-10-23