Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态
graceisford · x · 2026-10-31
Modal 发布 Sticky Sessions:基于低延迟 Modal Servers,让语音转写、voice agent、多人游戏等需要请求始终落在同一容器的负载,也能享受自动扩缩容。
- 用 @modal.sessioned() 装饰器即可声明会话型 Server,通过 SDK 或 HTTP API 启动会话,同一会话的所有请求固定路由到同一容器
- 定位介于 Sandboxes(显式管理生命周期)与纯无服务器自动扩缩之间,解决 decoder 状态、对话上下文等连续性需求
- Modal 与客户 Phonic 的互动:Phonic 创始人称选择 Modal 一是 sticky routing 等细节打磨到位,二是支持响应(工程师曾陪调基础设施到凌晨两点);Modal 工程师亦祝贺 Phonic 模型发布
「Infra」频道最新
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31
- 分析师：英伟达企业与新云客户收入增速 138.5%，有望 2-6 个季度内赶超超大规模云厂 — Beth_Kindig · 2026-10-31
- 分析师：Nvidia 企业/新云业务 2-6 个季度内或超超大规模云厂 — Beth_Kindig · 2026-10-31
- 249GB 无审查 DeepSeek V4.1 Flash 跑上 Colab,速度超 118 tok/s — Healthy_Essay3388 · 2026-10-31
- 西门子 EDA 用 NVIDIA NeMo Gym 优化芯片设计 Agent,评分 55%→95% — NVIDIAAI · 2026-10-31