单卡 RX 7800 XT 跑 78 tok/s:开发者打造越用越聪明的本地编程助手 Shura
HIKKIAN · reddit · 2026-11-09
Reddit 用户公布自建本地编程助手 Shura 的进展：目标是让模型随使用在自己身上持续变强，而不是每次换新模型就从头再来。
已跑通的硬件与性能（Ryzen 5 5600 + 32GB DDR4 + RX 7800 XT 16GB，Fedora + ROCm，跑 Qwen3.6-35B-A3B 微调版 MoE）：
- 普通编码任务（约 28k 上下文）启用 MTP 解码约 78 tok/s
- 最大上下文 200k，100k 输入 prefill 约 1000 tok/s
- 部分专家 offload 到系统内存；始终给桌面留 1.5GB 显存，被浏览器/视频抢占时约 0.25 秒内归还显存，打游戏时完全让路
让模型「越用越好」的四层计划（由易到难）：
- 记忆：带来源、可查改删的确认事实与项目决策
- 规则：反复纠正同一行为时建议规则，须通过测试才生效
- 难题多路生成、用测试验证择优
- 最关键的未验证部分：在同一个量化基座上，用明确确认的示例训练小型 LoRA 适配器做权重更新
作者坦承 16GB AMD 卡上训练 35B MoE 适配器、以及让推理能力可测量地提升都是未知数，承诺无论成败都公开数据。
「编程与Agent」频道最新
- kitlangton 提议以「语义哈希」为编译单元，让 Agent 时代代码跨机共享 — kitlangton · 2026-11-09
- 给 Claude 记忆自由反超固定规则："只记失败"规则令 Opus 5 掉分 — curious_vii · 2026-11-09
- 为 Agent 造新语言:Blood 用 comptime 让正则、SQL 拼写错误变编译错 — kitlangton · 2026-11-09
- macOS 27.3 让 Mac 虚拟机调用宿主 GPU 与神经网络引擎,AI 任务提速至 7 倍 — SumitGup · 2026-11-09
- 麦肯锡调研：头部分 20-25% 企业 AI 编码已获端到端 2 倍提升 — AI Engineer · 2026-11-09
- Network School 活动日历 MCP 服务器上线，Claude 内可直接报名 — modelcontextprotocol · 2026-11-09