单 CPU 仅用 8.24GB 内存跑通 2.78 万亿参数 Kimi K3 推理
gekobraa · x · 2026-09-10
OSPs 项目宣布无需 GPU、BLAS 或任何框架，在单个 CPU、仅 8.24 GB 内存下运行 2.78 万亿参数的 Kimi K3 推理。该结果如果属实，展示了极端压缩/内存映射推理的潜力，但帖内未附具体技术细节或速度数据，性能表现待验证。
「Infra」频道最新
- DeepSeek 九个月将每 token KV 缓存体积压缩 54 倍 — zephyr_z9 · 2026-09-10
- vLLM 完整支持 DeepSeek-V4.1-Flash 新架构,含投机解码与 PD 分离 — vllm_project · 2026-09-10
- 评论者称其推理架构复杂到基础设施商难以复制，建议自建可抽成 10-20% — zephyr_z9 · 2026-09-10
- A19 Pro 四核算力 140 TOPS,A20 Pro 端侧推理或超 140 TFlops — AIFlow_ML · 2026-09-10
- KV 缓存比 V1 小 437 倍:V4.1 Flash 直击中国算力内存瓶颈 — ChrisGPT · 2026-09-10
- Aspen 研讨会探讨「公共算力」:数据中心如何服务社区而非对抗社区 — lfschiavo · 2026-09-10