3 周爬取 59.4 亿条 TikTok 视频与 32.3 亿档案,数据集免费开源
DataShack · reddit · 2026-09-03
开发者 DataShack 宣布将 59.4 亿条 TikTok 视频和 32.3 亿个用户档案的完整数据集上传至 Hugging Face，完全免费开放，耗时约 3 周。
要点：
- 数据采集基于其几年前开发的 TikTok 移动 App 逆向工程方法，可提取视频、用户资料、评论回复、话题标签、音乐等数据。
- 声称 TikTok App 暴露 24 个无需登录即可访问的端点，数据本身公开可及，但此访问方式大概率违反 TikTok 服务条款。
- 完整代码并不免费，需付费获取；详细教程发布在其个人站点。
对做大规模视频/社媒数据研究的人是重要资源，但合规风险需自行评估。
「研究」频道最新
- 字节开源 LoopLM：循环潜空间推理让 1.4B 模型比肩 12B 竞品，Bengio 参与 — peterjliu · 2026-09-03
- 传 OpenAI 新技术削弱 CoT 可监控性,Bengio 等联署论文作者回应 — GaryMarcus · 2026-09-03
- PufferLib 作者称调优后端到端提速约 3 倍 — yacineMTB · 2026-09-03
- 哈佛提出 agentic data cracking，非结构化数据问答成本降 53% — Harvard · 2026-09-03
- 学生 5 英镑/月跑起可解释的 X 光骨病变筛查模型 — xrY- · 2026-09-03
- 字节新研究称循环深度模型首次在 FLOP、参数、KV 缓存三对齐下占优 — georgejrjrjr · 2026-09-03