开发者开源 Hugging Face 镜像注册表,Hub 挂了也能启动推理 worker
cmm324 · reddit · 2026-11-19
作者为批处理推理系统 Otium 构建了 Model Delivery:一个自托管模型注册表,解决 AWS Spot worker 启动时依赖 Hugging Face 可用性的问题——Hub 宕机、上游仓库被删、或安全事件期间主动切断上游访问,都会导致空缓存的 worker 无法启动。
- 提前镜像指定 revision,保留上游 revision ID,下载文件与 HF 报告的哈希校验。
- 镜像完成后把 HFENDPOINT 指向注册表,vLLM 照常下载权重。
- 注册表是单个二进制文件,SQLite + 磁盘文件即可运行。
- 作者演示了关闭本地 hub 后,用 HF CLI 从镜像逐字节一致地拉取全部 5 个文件。
「Infra」频道最新
- Oracle 联席 CEO 承认卖数据中心犯「经典错误」:忽视社区沟通 — jeremyakahn · 2026-11-19
- Surface Laptop Ultra 搭 RTX Spark 本地跑 94GB 模型,每小时完成 4 个企业 agent 工作流 — ryanshrout · 2026-11-19
- Nace 发布 71.8GB DeepSeek V4.1 Flash 编码量化,KL 散度低 39% — m4rkGS · 2026-11-19
- Architect Labs 发布 Frostbite:agent 参与设计的 CPU,能效称比 Arm 高 4.6 倍 — IgorCarron · 2026-11-19
- 英伟达罕见推迟提交 10-Q 季报,华尔街分析师拆解背后原因 — TechCrunch AI · 2026-11-19
- Oxmiq 向印度团队开放 AI 芯片 IP 与设计工具,谈自研芯片经济账 — RajaXg · 2026-11-19