exolabs 曝 agent 自主优化推理引擎:一天内把新模型提速 7 倍至 210 tok/s
simonguozirui · x · 2026-11-21
Exolabs 透露:周三拿到 Thinkymachines 新模型访问权,3 小时内跑到 30 tok/s,一天后提速 7 倍至 210 tok/s,快到 thinkymachines 团队都不敢相信。这是其即将推出的 Apple Silicon 推理引擎与 agent 管线的一次实战——该管线可在其 Mac 集群上持续自动优化推理。他们没有给 agent 任何关于循环架构的指引,它自己构建出可用实现并找到了架构特定的优化:改进 kernel、融合算子,并通过自适应 drafting 更好地利用 DSpark。
「编程与Agent」频道最新
- Greg Isenberg 提出 AI 创业闭环:获取上下文、编排 agent、快速迭代 — alvelda · 2026-11-21
- VibeArmory 0.3.0 发布:端侧模型给 Mac 上的 AI agent 行为异常打分 — agf2007 · 2026-11-21
- Inkling 2 Mini 实测:小模型驱动开源个人助理跑通全套日常 — stanfordnlp · 2026-11-21
- 斯坦福《Engineering AI Agents》多智能体系统一课获好评 — stanfordnlp · 2026-11-21
- 多智能体协作界面=HCI 重生:人类注意力稀缺,agent 注意力无限 — manosaie · 2026-11-21
- Gemini 4 Neon 修复杂代码库比肩 Opus 5.5,平替可期 — op7418 · 2026-11-21