15 年老 CPU+RX580 跑本地 LLM:fork 优化后 Metal 加速达 29 tok/s 接近 Vulkan
opUserZero · reddit · 2026-11-03
作者发布了自己对 ToshLLM 的 fork,让 Intel Mac 上的 AMD GPU(如 RX580/Polaris)通过 Metal 加速跑 llama.cpp 本地推理。
- 项目起点:Ornith 9b 上约 17 tok/s,而 Linux 的 Vulkan 方案是 32 tok/s;经数天调优后达到约 29 tok/s,接近 Vulkan 性能,老设备已可用——作者的 CPU 甚至不支持 AVX;
- 有趣细节:重活主要由 GLM-5.3 Flash 和 Qwen3.8 Flash 完成,作者只负责指挥调优;
- 作者还提到新的 Qwen 3.5 4b coder 可生成 3D 模型,在其显卡上起点约 35 tok/s,计划接下来尝试。
「Infra」频道最新
- 全球超 2500GW 发电项目卡在并网队列，2025 年能源科技吸金近 2000 亿美元 — ingliguori · 2026-11-03
- DataTalks.Club 实操工作坊：CPU 跑 Agent，GPU 只按需调用生成工具 — Al_Grigor · 2026-11-03
- 曝 DeepSeek V5 将用华为昇腾芯片预训练，Ascend 960DT 预计 2027 Q1 就绪 — teortaxesTex · 2026-11-03
- 韩产 HBM 竟被走私入境，The Information 起底对华芯片暗流 — AccBalanced · 2026-11-03
- 研究者拆解 NVIDIA GPU 机密计算架构并实测其安全属性 — burkov · 2026-11-03
- Nebius CTO 回忆：首日上线 1600 块 H100 即推倒整个技术栈重来 — AccBalanced · 2026-11-03