AMD 员工用 Gemini 驱动的 Loom 4 小时调优内核,Inkling-2-Mini 解码提速 1.9 倍

sa1sr1 · reddit · 2026-11-21

Inkling-2-Mini 发布当天,AMD Loom 团队成员(自述未提前获取权重)用 agent 自动调优内核,在 Strix Halo 8060S 上跑出了远超 llama.cpp day-0 支持的性能:

流程:模型用 Gemini 4 Neon,编码 agent 用 pi.dev,遵循 loom-skills 的「移植→roofline→优化→基准」playbook;正确性门槛未过前不计速度(含 37k token 级 golden 校验、多轮工具调用、并发等)。全程约 4.3 小时、490 次工具调用,把未经修改的 unsloth UD-Q4KXL GGUF 调到过门槛的优化包。

结果(对比最佳 llama.cpp,ROCm/Vulkan 取优):

文末给出 pipx 安装与 loom-fetch/loom-serve 完整命令,可起 OpenAI 兼容服务(端口 8080)。带 spark 的投机解码仍在开发中。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →