Eureka Machine 写出单个 Metal megakernel 融合 Flint 全部解码

cong_ml · x · 2026-10-22

Recursive 团队披露其自动研究系统 Eureka Machine 现在能编写完整的 megakernel:用 Apple GPU 语言 Metal,把 Flint 模型的整个解码前向传播融合为 M4/M5 Mac 上的单个 kernel,涵盖每一层、注意力、低比特投影、专家路由和输出头。

代码已在 GitHub 开源(recursive-oss/rec 仓库 megakernel.py,约 1337 行)。配图展示了 kernel 各区段的实际源码块:逐层循环、4-bit QKV 投影、注意力输出合并、稀疏专家路由门控与最终 norm+logits。

所属事件:Recursive 的 Eureka Machine 迈向递归自我改进(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →