exolabs 曝 agent 自主优化推理引擎:一天内把新模型提速 7 倍至 210 tok/s

simonguozirui · x · 2026-11-21

Exolabs 透露:周三拿到 Thinkymachines 新模型访问权,3 小时内跑到 30 tok/s,一天后提速 7 倍至 210 tok/s,快到 thinkymachines 团队都不敢相信。这是其即将推出的 Apple Silicon 推理引擎与 agent 管线的一次实战——该管线可在其 Mac 集群上持续自动优化推理。他们没有给 agent 任何关于循环架构的指引,它自己构建出可用实现并找到了架构特定的优化:改进 kernel、融合算子,并通过自适应 drafting 更好地利用 DSpark。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →