开源 Strix Halo 推理引擎 Gufo 发文详解混合模型缓存设计
fedeizzo · reddit · 2026-10-20
Gufo 是一个 MIT 协议开源的 AMD Strix Halo AI 推理引擎，由两位开发者作为业余项目起步，目标是榨干这颗芯片的统一大内存但带宽偏低的特点，已支持数个一流模型。项目发布约一个月，GitHub 上已有 829 stars。
团队开始在博客上连载引擎设计解析，第一篇讲缓存：他们如何针对 Strix Halo「内存大、带宽低」的芯片特性自建混合模型缓存方案。作者强调这些文章不依赖该硬件，讲的是各类推理引擎通用的概念与设计取舍，对做本地部署和推理优化的人都有参考价值。
「Infra」频道最新
- Mobileye 联创的新公司 doubleAI 称可将客户算力成本削减 67% — pstAsiatech · 2026-10-20
- 美国制裁窃取Google TPU机密的前华裔工程师关联的5家中企 — rohanpaul_ai · 2026-10-20
- AI 芯片公司 Tenstorrent 融资 15 亿美元，估值达 62 亿 — pstAsiatech · 2026-10-20
- Lemonade Server CLI 实用技巧：拉取、配置与跑分本地模型 — admcpr · 2026-10-20
- BigMoeOnEdge：12GB 手机跑 35B MoE 达 10 tok/s，模型可比内存大 7 倍 — dai_app · 2026-10-20
- NVIDIA Brev 把旧游戏PC变云端GPU：一个控制台统一管理本地与云算力 — victorialslocum · 2026-10-20