Sentdex 实测:openjev 在 GB10 延迟 169ms,3090 上 137ms
Sentdex · x · 2026-09-22
Sentdex 分享 openjev 的初步测试结果:作为 LLM 增强方案，其表现与 Jev 相比非常接近。
- 在 Dell GB10 上响应延迟约 169ms，3090 GPU 上约 137ms，差距不大
- 他考虑把 openjev 永久留在 GB10 上，并在每台设备跑多个 Jev server 以并行查询、压低延迟
对关注本地/端侧部署推理延迟的人来说，这是少见的一手实测数字。
「Infra」频道最新
- 纯 C 零依赖引擎 COLIBRI：让消费级硬件跑 2.8T 参数 MoE 模型 — bibryam · 2026-09-22
- PyroDash:小模型按需呼叫大模型,推理成本降96%反超单独用大模型 — jiqizhixin · 2026-09-22
- Underdog 推出 Husky 推理引擎，MacBook 上跑出 730 tokens/s — jimmykoppel · 2026-09-22
- peano_ai 在 1000+ TPU 上对 310B 模型跑通全参数 RL 训练 — simonguozirui · 2026-09-22
- Cloudflare Python Workers 结束两年预览正式可用 — Simon Willison · 2026-09-22
- 应对 AI 爬虫流量：Turnstile 之外的 Cloudflare AI Labyrinth 方案 — fforres · 2026-09-22