DuckDB 2.0 原生扩展上线:直接读写 hf:// 并借 Xet 省 80% 存储
lhoestq · x · 2026-10-22
Hugging Face 工程师 Quentin Lhoest 发布了 DuckDB 2.0 的原生 C++ 扩展,可直接用 SQL 读写 hf:// 地址的数据集与 bucket。
要点:
- 读取:走 Hub 的 /resolve/ 端点,支持 range 请求并带共享 read-ahead 缓存;
- 写入:走 Hub 的 commit API(与 huggingfacehub 相同),上传经 Xet 去重,效率更高;
- 配文称 HF Buckets 以 Xet 为核心构建,全局节省 80% 存储,关键在去重;
- 扩展已发布于 hf.co/duckdb-extensions,安装只需 INSTALL hf FROM hfrepo; LOAD hf FROM hfrepo;。
所属事件:Hugging Face 推 DuckDB 2.0 扩展可 SQL 直读数据集(3 条相关)→
「Infra」频道最新
- HarnessRouter 开源:一套 API 统一调度 Codex 与 Claude Code 等编程智能体 — tom_doerr · 2026-10-23
- 本地 AI 安全清单:Ollama/vLLM/llama.cpp 最低版本与 LiteLLM 供应链恶意软件 — AIFlow_ML · 2026-10-23
- Bonsai 2 9B 社区挑战一周提速 6 倍,Mac 上达 959 tokens/s — gajesh · 2026-10-23
- MCP 7 月 28 日版本实现远程服务器无状态化 — bibryam · 2026-10-23
- MCP 生态大会:AAIF 成员达 305 家,Skills over MCP 等路线图曝光 — bibryam · 2026-10-23
- Fizgig 8.90 发布:多卡联合训练 LoRA,双 4090 提速 40% — shootthesound · 2026-10-23