Meta 的 REWIRE 数据流水线开源复现成本仅约 11 美元
vanstriendaniel · x · 2026-07-21
Meta 的 REWIRE 预训练数据流水线被做成了开源复现，成本大幅下降
这篇帖子介绍了对 Meta/FAIR 的 REWIRE（Recycling the Web） 的一个小型可复现重跑：把被预训练过滤器丢弃的低质量网页，先用 LLM 改写，再用同一套质量门槛重新打分，筛出可用于预训练的数据。
- 原论文使用 Llama-3.3-70B 作为改写教师模型。
- 这次复现基于 Hugging Face Jobs 和 datatrove，作者称整个 PoC 只花了大约 $11 的 GPU 成本。
- 实验里，一个 9B 模型 在原论文自己的质量门槛上表现甚至优于 70B：
- 61.7% 的改写通过过滤器，70B 为 49.6%。
- 盲测配对评审中，9B 改写以 20 比 4 胜出。
- 成本方面，9B 分支大约是 600 条文档 $0.60，折算约 每百万保留 token $0.64。
- 作者按这个速率外推，Meta 公开的 44.4B token 数据集可约 $2.8 万 复现；若按 70B 教师的速率，则约 $36.9 万。
仓库还公开了完整流水线、1,953 条改写结果、成本凭证，以及一个能重新打分所有改写的 CPU 脚本。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11