Underdog 推出 Husky 推理引擎，MacBook 上跑出 730 tokens/s
jimmykoppel · x · 2026-09-22
Underdog 发布 Model-Specific Inference（MSI）引擎 Husky，号称比苹果 MLX 快最高 4.5 倍，其本地模型 Pareto frontier 在 MacBook 上可达 730 tokens/sec。
Husky 支撑的是 Underdog 的 100% 本地私密 AI 助手（邀请制 beta）：体积不到 4GB，全部计算在用户设备上完成，可代用浏览器订机票、订餐厅、买菜、取消订阅（下单前需人工确认），并直连 Gmail/Outlook 做本地邮件处理、在设备端完成会议转写与纪要，数据不出数据中心。
「Infra」频道最新
- 纯 C 零依赖引擎 COLIBRI：让消费级硬件跑 2.8T 参数 MoE 模型 — bibryam · 2026-09-22
- Sentdex 实测:openjev 在 GB10 延迟 169ms,3090 上 137ms — Sentdex · 2026-09-22
- PyroDash:小模型按需呼叫大模型,推理成本降96%反超单独用大模型 — jiqizhixin · 2026-09-22
- peano_ai 在 1000+ TPU 上对 310B 模型跑通全参数 RL 训练 — simonguozirui · 2026-09-22
- Cloudflare Python Workers 结束两年预览正式可用 — Simon Willison · 2026-09-22
- 应对 AI 爬虫流量：Turnstile 之外的 Cloudflare AI Labyrinth 方案 — fforres · 2026-09-22