开源 inferd 引擎单台 Mac 跑 128 个智能体,1487 tok/s
thursdai_pod · x · 2026-11-06
John Davies 在播客直播中发布了开源推理引擎 inferd,专为在 macOS 上运行智能体集群设计,Apache 2.0 协议。
- 性能:Mac Studio M5 Ultra(256GB)上同时运行 128 个并发智能体,总吞吐 1487 tok/s;Qwen3.8 模型实测。
- 能耗:智能插头实测整机墙插功耗仅 293-300W,64→128 智能体时能效从 4.4 提升到 5.1 tok/J,输出从 1326 涨到 1487 tok/s 而功耗几乎不变。
- 价格跨度:从约 1000 美元的 Mac mini 到 2 万美元的 Mac Studio 均可运行,数据留在本地、无按 token 计费。
- 接入方式:兼容 OpenAI API,改 baseurl 即可接入现有 agent 框架;另通过请求中的 inferd 字段提供 context 固定、session 保持、per-agent effort、优先级等智能体特性。
「编程与Agent」频道最新
- 开源本地编码 agent dl.new 发布，每周免费送 5000 万 DeepSeek tokens — sahilypatel · 2026-11-06
- 开源项目让 iPad 本地永久运行《魔兽世界》，含触屏与语音输入适配 — Dimillian · 2026-11-06
- Hydro 作者 Shadaj Lohia 演讲：从 zero-cost correctness 谈语言设计 — ShadajL · 2026-11-06
- 把鼠标改造成跨应用工具：随身截图加任意处随手记 — HaijunXia · 2026-11-06
- Perplexity CEO 转赞用户实测：Teammates 搭配 GrokBot 跑销售线索生成 — AravSrinivas · 2026-11-06
- 10 个开源深度研究仓库：自动检索资料并生成带引用报告 — victor_explore · 2026-11-06