gufo 推出 Windows 免编译包,Strix Halo 用户开箱即用跑本地大模型
hiImMate · reddit · 2026-10-03
Reddit 用户为 AMD Strix Halo(gfx1151)发布了 gufo 的 Windows 非官方移植版,新增免编译预打包库:下载 .zip 解压即可,附 start.cmd 一键启动并自动发现支持的量化版本。当前支持 3.8 Flash Next(UDQ4XL)、27b(UDQ4XL)、35BA3B(UDQ8XL + TeilCoder)。作者称 Flash Next 在 agentic 任务下高上下文仍能保持约 40 tps。注意事项:必须将 VRAM 设为 96GB,因为 Windows 对「共享」内存读取有额外开销。作者强调代码经 logit 校验,模型输出保持 bit-identical。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19