SGLang仅用一 dict 替换共享显存记账,多模态推理提升10%+
charles_irl · x · 2026-11-02
Modal 工程师分享的案例(charlesirl 引用并吐槽「timeline 上太多表演式性能优化」)展示了性能工程的正确姿势:
- Modal 博客《Boosting multimodal inference performance by >10% with a single Python dictionary》:对 SGLang 调度器在多模态负载上做 profile,发现围绕共享 GPU 内存的昂贵 bookkeeping 可用一次简单缓存查找替代,吞吐与延迟均提升超 10%,已合入 SGLang v0.5.10
- 工具就是 py-spy 火焰图:newsharedcuda 占 3.43%
- 被引推文的方法论:性能工程 = 拿 CPU 火焰图 + heap/disk/network profile,把最大那根柱子变小,否则转向下一根
一条务实的方法论:别谈玄学设计原则,先 profile、先量最大瓶颈。
「编程与Agent」频道最新
- 独立开发者用 Opus 5.5 六周独自做出超级英雄 MMO,消耗 30 亿 token — superpikapoo · 2026-11-02
- 用 Codex 加 agent-desktop 跑月度记账,3 小时活缩到 1 小时内 — EXM7777 · 2026-11-02
- 10 天 535 次 commit:开发者用 Claude Code 打造免费俯视角提取射击游戏 — spiritosito · 2026-11-02
- Haskell 工程师：Agent 时代最难的是别让实现抢答设计问题 — charles_irl · 2026-11-02
- 伯克利团队提出 Evolving Agent Teams，CUDA kernel 超生产级 FlashInfer 1.2 倍 — berkeley_ai · 2026-11-02
- 把笛卡尔方法论截图喂给 Agent:yacine 分享分解难题提示词 — yacinelearning · 2026-11-02