一个用于HF模型下载的静态续传工具
ziozzang0 · reddit · 2026-07-16
作者分享了自己做的 hftools:一个用 单个静态 Go 二进制 实现的 Hugging Face 模型下载工具,主打断点续传、校验和离线场景。
它解决的痛点包括:
- 大模型文件下载到一半失败后只能重头再来
- Hub 偶发 5xx 时,长时间下载容易中断
- 多 GB 模型拷到离线机器后,需要确认文件是否完整
主要功能有:
- 默认支持断点续传,按字节偏移继续下载
- --retries -1 可持续重试,适合长时间 Hub 故障
- 可按 Git blob SHA-1 / LFS SHA-256 校验文件,也能生成标准 .sha256 / .sha1sum
- 可在“扁平目录”和 Hugging Face cache 结构之间互相转换
- peek 可只用一次 Range 请求读取 safetensors / GGUF 头信息
- scan 可在加载前检查危险的 pickle 导入
作者表示这些功能大多来自自己实际遇到的麻烦,并邀请大家反馈和比较不同的离线验证方案。
「Infra」频道最新
- Anthropic S-1:4300 亿美元算力合同不可取消,超过中国全年军费 — Hesamation · 2026-10-27
- Tenstorrent 融资 15 亿美元,估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞:用 JEV 决策模型替换 Raft 共识,写入吞吐暴跌 99.98% — irombie · 2026-10-27
- Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27