Modal 新员工爆料：推理圈已共识 disagg+wide EP+KV 存储
dejavucoder · x · 2026-11-11
Modal 工程师 ekzhang1 入职第二天的动态：公司规模变大但「灵魂还在」，团队极强。他透露本周推理架构讨论中，业界倾向已明显收敛——disaggregated 部署 + wide expert parallelism + KV 存储 成为共识，接下来是平台层面的工程落地。dejavucoder 调侃希望每天都能有这种一线更新。
「Infra」频道最新
- 华为曾借白手套经台积电采购 AI 芯片，Sophgo 代理案回顾 — 0xkarasy · 2026-11-11
- 数据中心反弹蔓延：纽约废弃钢厂项目被社区舆论否决 — sebkrier · 2026-11-11
- AMD 官宣日本 AI 巡回活动：全球月度 token 消耗两年增 158 倍 — DavidBennett__ · 2026-11-11
- vLLM GitHub 贡献者突破 4000，从伯克利研究项目到社区引擎 — vllm_project · 2026-11-11
- 4 万次 Agent 调用实测：83% token 走缓存价，前缀稳定性决定账单 — MichelleZhao91 · 2026-11-11
- LMCache 接入 Phoenix GPU 直连存储,TTFT 平均降低 5.6 倍 — AccBalanced · 2026-11-11