双 4060 跑大模型：RPC 把 drafter 卸载到 AMD Strix，上下文 150k 提到 195k 零性能损失
Chuyito · reddit · 2026-10-16
作者分享了一个 llama.cpp 投机解码的硬核玩法：主模型权重用 2x RTX 4060 张量并行跑，通过自改的 llama-rpc 把 drafter（草稿模型）卸载到 AMD Strix 核显上，零性能损失换来 2-3GB 显存，上下文从 150k 提升到 195k。
关键突破在于：以往 Nvidia+AMD 混合硬件走 RPC 只能用 layer 分割模式，作者通过合并 PR #26636、PR #27858 并打本地补丁（强制 DFlash2 使用 CPU selector，绕开张量并行下 lmhead 按 vocab 切分导致 in-graph selector 无法运行的限制），保住了 split-mode tensor 并行。
可复现细节：
- 给出 known-good 的 llama.cpp 基线 commit 及完整 cherry-pick/patch 命令
- 10Gbps USB 网卡驱动缺失，让 GPT 帮忙改两个文件源码构建搞定
- 第三处修改不值得提 PR（上游 PR 经常无人处理），直接以补丁形式分享，方便读者让 agent 按当前 main 分支状态自行重做
- 理论上任何有 2-3GB 空闲内存/显存的设备都能当 drafter 卸载目标
「编程与Agent」频道最新
- 实测 12 套决策系统：分类器换版的「LARP 式炒作」陷阱 — KlausCodes · 2026-10-23
- 「给 agent 用的 Product Hunt」上线:按真实调用排出的工具榜 — claudeai · 2026-10-23
- 个人智能体元年：OpenClaw 走红到大厂集体入场的一年 — sujingshen · 2026-10-23
- Shopify 内部 Slack bot River 不擅长移动开发,员工做内部广告说服工程师 — jevon · 2026-10-23
- 梗图：AI vibe coding 与老虎机的对应关系逐条拆解 — burny_tech · 2026-10-23
- 一个 prompt 让 Claude Code 造出可拆解的无人机原理演示 — NERDDISCO · 2026-10-23