TypeSafeAI 上线四天在 Modal 上服务万亿 token,推理需求持续暴涨
josh_wills · x · 2026-10-08
Modal 转发案例:TypeSafeAI 的 Jev 产品周四上线,到周日其团队已在 Modal 平台上累计服务了 1 万亿 token,且流量仍在增长没有放缓迹象。帖子指向 Modal 上的工程实践文章,展示其推理基础设施在高流量产品场景下的扩容能力。
「Infra」频道最新
- Windows 现场 demo:编码任务被自动路由到本地模型,llama.cpp 已接入 Windows ML — ryanshrout · 2026-10-08
- exe.dev 详解超线程侧信道风险:用 core scheduling cookie 做团队级隔离 — davidcrawshaw · 2026-10-08
- NVIDIA 发布 LoGRA：强化学习训练显存最高省 45.7% — mark_k · 2026-10-08
- 6 卡 3090 无 NVLink 跑 Qwen3.8-Flash-Next:prefill 快 8-10 倍,长文解码快 2-3 倍 — flynth92 · 2026-10-08
- DeepMind Philipp Schmid:每个 Agent 都该有自己的云端沙盒 — AI Engineer · 2026-10-08
- GitHub 全球宕机,工程师吐槽「正在抢修」 — iannuttall · 2026-10-08