AMD 员工用 Gemini 驱动的 Loom 4 小时调优内核,Inkling-2-Mini 解码提速 1.9 倍
sa1sr1 · reddit · 2026-11-21
Inkling-2-Mini 发布当天,AMD Loom 团队成员(自述未提前获取权重)用 agent 自动调优内核,在 Strix Halo 8060S 上跑出了远超 llama.cpp day-0 支持的性能:
流程:模型用 Gemini 4 Neon,编码 agent 用 pi.dev,遵循 loom-skills 的「移植→roofline→优化→基准」playbook;正确性门槛未过前不计速度(含 37k token 级 golden 校验、多轮工具调用、并发等)。全程约 4.3 小时、490 次工具调用,把未经修改的 unsloth UD-Q4KXL GGUF 调到过门槛的优化包。
结果(对比最佳 llama.cpp,ROCm/Vulkan 取优):
- 解码:44.8 vs 23.8 tok/s,约 1.88 倍,达内存带宽 roofline 约 80%
- prefill:1k 上下文 4.0 倍,18k 上下文高达 5.9 倍
- 4 并发流聚合吞吐:100.8 vs 54.1 tok/s,1.86 倍
文末给出 pipx 安装与 loom-fetch/loom-serve 完整命令,可起 OpenAI 兼容服务(端口 8080)。带 spark 的投机解码仍在开发中。
「编程与Agent」频道最新
- 开源 agent 记忆插件 mnemos:自主决定记什么、不用即淡忘 — RileyRalmuto · 2026-11-21
- 屏幕录制+语音经 MCP 喂给 Claude,UI 动效迭代提速 — Different_Scholar_74 · 2026-11-21
- 开源 E2E 加密 MCP 服务器:让手机直接与本地 Agent 密聊 — uriwa · 2026-11-21
- 前 GitHub 高管推出 Maven 课程「精英 AI 辅助编程」,限时低价 — intellectronica · 2026-11-21
- 开发者推出托管 WhatsApp MCP 服务,只读模式专防提示注入 — uriwa · 2026-11-21
- 马斯克转发 GPT 工作流技巧:让 Grok 充当审查 bot 监督其他 bot — elonmusk · 2026-11-21