Modal 上的推理方案提速 67%
simonguozirui · x · 2026-07-16
Inkling 现在已经可在 Modal 上使用。
引用内容提到它结合了一个自定义的 DFlash speculator，带来：
- 67% 更高的吞吐量
- 更好的交互性
当前运行方式是 Modal Auto Endpoints 配合 SGLang。
所属事件:Modal 接入 Inkling并主打 DFlash 加速(5 条相关)→
「Infra」频道最新
- Anthropic 背 4750 亿美元算力合约,OpenAI 到 2030 年拟投约 7500 亿 — kyliebytes · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27