黑客让闲置的 Strix Halo NPU 给编码 agent 打下手,语义搜索胜过 grep
stereohype · reddit · 2026-10-08
Reddit 用户 stereohype 发布 Halogen 0.16+ 项目:把 AMD Strix Halo(Ryzen AI Max+ 395)上闲置的 XDNA2 NPU 通过 OpenAI 风格端点接入编码 agent,让 NPU 承担"往哪看"环节,而主模型(GPU)负责思考。
四个 NPU 工具及实测结果:
- codebasesearch:语义文件搜索(embed+rerank),20 题中 15 题命中 top-3,grep 仅 9 题;无关键词的"在哪超时"类问题语义搜索明显占优,有关键词的修复任务 grep 更快
- dedupscan:跨仓库近重复文件扫描,8.4 秒找出 45 对(含改名的重复文件)
- decide:0.8b 模型做二元决策,约 120ms、78% 准确率;三选一版本仅 40% 准确率被砍掉
- auto-guard:注入筛查,42% 召回、0 误报,以 fail-open 警示而非门禁形式发布
关键发现与方法论:
- 用安慰剂对照实验(打乱向量索引 vs 真实索引)验证收益真实:NPU 只加速定位,95% 任务时间仍在 GPU 上读代码写修复
- 关键词贫乏任务实测:带 NPU 平均 13.6 分钟 vs 不带 18.7 分钟
- 0.17.1 版本把 NPU 延迟降低 30 倍(旧版每次调用有约 4 秒固定开销),decode 提升 40%;prefill 达 1311 tok/s,decode 64 MTP
详细含基准方法、硬件配置(128GB 统一内存、70W 持续功耗、需开 IOMMU)与被砍掉功能的复盘。
「编程与Agent」频道最新
- Agent 测试游戏时在会议中自动启动，音乐响了 15 秒 — Aizkmusic · 2026-10-08
- Agent 时代的应用需要哪七层形态？一张清单引发讨论 — seanwbren · 2026-10-08
- 迁移记忆、换掉模型后还是同一个 agent 吗？ — viksit · 2026-10-08
- 实测主流编码 Agent 多任务全翻车,编排器+子代理配方跑通 — StasBekman · 2026-10-08
- 为 AI Agent 打造的图片检索工具 Evidence：125 毫秒找回带出处的研究图表 — RichardsonDx · 2026-10-08
- 理想中的 WordPress AI Agent:先找到打架的 CSS,而不是堆一个 !important — HaktanSuren · 2026-10-08