RDNA2 显卡跑本地 LLM:llama.cpp 之外还有什么选择
xpnrt · reddit · 2026-10-19
发帖者指出,社区里为 AMD GPU 做的本地 LLM 工具大多依赖 RDNA3 起才有的 WMMA 指令,RDNA2 用户经常遇到「能跑就跑、不能跑就没办法」的局面;图像/视频生成有时能用 Triton 绕过,但 LLM 侧缺少类似出路。他提到 STRATA 是少数提供 RDNA2 路径的项目(实测能跑 coder 模型),但只针对特定大模型、用途受限。他求问:Windows 上有没有 base llama.cpp 之外、对 RDNA2 性能更好的分支或应用。
「Infra」频道最新
- 开源 ai-memory 让 Claude Code、Codex 等 20 多个 AI 编码工具共享同一份记忆 — alex_verem · 2026-10-19
- OpenRouter 数据:美国模型 token 消耗停滞 8 周,中国供应周消耗 79.2T — SumitGup · 2026-10-19
- CMU 研讨会详解 Floe 引擎:弃缓冲池、自研内核跑赢 io_uring — sh_reya · 2026-10-19
- 数据中心仅占全球一次能源 0.85%,用数据反驳能耗恐慌论 — DarinFeinstein · 2026-10-19
- vLLM 0.32 新增结构化决策 API:读首 token 概率出答案 — AccBalanced · 2026-10-19
- GPU 定价真相:决定成本的是资本利差而非现货租金 — AccBalanced · 2026-10-19