开源工具 Berth 把闲置引擎停进内存，模型切换从 13.7 秒降到 5.6 秒
Distinct-Pie2389 · reddit · 2026-10-24
开源项目 Berth 提出"park protocol"：支持自卸载的推理引擎（ComfyUI、vLLM、SGLang 等）在空闲时把权重挪到系统内存，恢复时直接从内存载入而非读盘。
- RTX 4090 + 64 GiB RAM 参考数据：21GB 聊天模型命中 page cache 后切换含租约共 5.6 秒（首次磁盘冷载 13.7 秒）
- ComfyUI 停驻 RAM 后恢复不到 1 秒
- 切到 27B 模型需 13.6–16.3 秒
Berth 只在测得 RAM 覆盖引擎权重加保底余量时才停驻，内存吃紧时优先终止已停驻引擎。
「Infra」频道最新
- Reddit 实测：新发布的量化模型普遍不敌几个月前的 DS/Qwen — EmilPi · 2026-10-24
- OpenAI 红队曝 Brotli 未认证远程代码执行漏洞，波及 Node.js 等 — gdb · 2026-10-24
- RTX 30 系 FP/BF16 驱动锁被破解:3090 算力 75T 飙到 135T — CeFurkan · 2026-10-24
- RTX 30 系 FP/BF16 驱动锁被破解:3090 算力 75T 飙到 135T — CeFurkan · 2026-10-24
- Meta 开源模型 Muse Spark Open 实测：每兆瓦吞吐可达 1.5 亿 tokens/s — ArtificialAnlys · 2026-10-24
- 马斯克称租不到 GB300 甚至 H100，学者借机质疑对华芯片出口管制逻辑 — Gregory_C_Allen · 2026-10-24