DuckDB 可用 hf:// 协议直接查询 Hugging Face 数据集
lhoestq · x · 2026-09-26
DuckDB 官方博客介绍了与 Hugging Face 的集成:自 DuckDB v0.10.3(2024 年 5 月 22 日发布)起,可以用 hf:// 协议直接对 Hugging Face Hub 上的数据集执行 SELECT,无需先下载。
- HF Hub 上每个数据集本质是 git 仓库,文件通常是 CSV、JSONL 或 Parquet
- DuckDB 通过 httpfs 扩展读远程文件,并原生支持 Parquet 列式格式,可扫描而不必全部载入内存
- 适合场景:直接在数据所在位置做即席分析,免去先用 datasets 库或手动下载的中间步骤
文中以 cais/mmlu 等仓库为例演示了查询方式与适用边界。
「Infra」频道最新
- Prime Intellect 盘点 AGI 技术栈七大品类：RLaaS、数据评测、推理、沙盒等 — willcb · 2026-09-26
- Fireworks 联手 HUD 推 RL 训练 Cookbook,一次定义任务即可训练+评估 — sophiamyang · 2026-09-26
- 阿姆斯特丹首届 Tokenomicon 纪实：开发者聊 LLM token 经济学 — Bartaseth · 2026-09-26
- 首届 Tokenomicon 大会在阿姆斯特丹举行，聚焦 LLM Token 经济学 — Bartaseth · 2026-09-26
- SemiAnalysis 图表：中国 1 美元达成美国 5 美元 AI 数据中心效果 — harris_edouard · 2026-09-26
- UBS 预测美光 FQ4 营收近 520 亿美元，AI 内存缺口将持续到 2027 — tengyanAI · 2026-09-26