Meta 的 REWIRE 数据流水线开源复现成本仅约 11 美元
vanstriendaniel · x · 2026-07-21
Meta 的 REWIRE 预训练数据流水线被做成了开源复现，成本大幅下降
这篇帖子介绍了对 Meta/FAIR 的 REWIRE（Recycling the Web） 的一个小型可复现重跑：把被预训练过滤器丢弃的低质量网页，先用 LLM 改写，再用同一套质量门槛重新打分，筛出可用于预训练的数据。
- 原论文使用 Llama-3.3-70B 作为改写教师模型。
- 这次复现基于 Hugging Face Jobs 和 datatrove，作者称整个 PoC 只花了大约 $11 的 GPU 成本。
- 实验里，一个 9B 模型 在原论文自己的质量门槛上表现甚至优于 70B：
- 61.7% 的改写通过过滤器，70B 为 49.6%。
- 盲测配对评审中，9B 改写以 20 比 4 胜出。
- 成本方面，9B 分支大约是 600 条文档 $0.60，折算约 每百万保留 token $0.64。
- 作者按这个速率外推，Meta 公开的 44.4B token 数据集可约 $2.8 万 复现；若按 70B 教师的速率，则约 $36.9 万。
仓库还公开了完整流水线、1,953 条改写结果、成本凭证，以及一个能重新打分所有改写的 CPU 脚本。
「Infra」频道最新
- 中国 AI 军备竞赛正被芯片、数据中心和开源模型定义 — BenBajarin · 2026-07-22
- Agent 搜索瓶颈正在从速度转向延迟稳定性 — rohanpaul_ai · 2026-07-22
- Gavin Baker：Nvidia 可能是开源 AI 最大支持者之一 — GavinSBaker · 2026-07-22
- AI 算力需求刺破美国能源缺口，呼吁打破稀缺重建产能 — bradneuberg · 2026-07-22
- Gavin Baker 指出，6300 亿美元是系统收入，不全归 Nvidia — GavinSBaker · 2026-07-22
- 一个基于 Firecracker 的平台称可在 256 GB 服务器上跑 6000 个 AI agent — maritime_sh · 2026-07-22