Meta 的 REWIRE 数据流水线开源复现成本仅约 11 美元
vanstriendaniel · x · 2026-07-21
Meta 的 REWIRE 预训练数据流水线被做成了开源复现，成本大幅下降
这篇帖子介绍了对 Meta/FAIR 的 REWIRE（Recycling the Web） 的一个小型可复现重跑：把被预训练过滤器丢弃的低质量网页，先用 LLM 改写，再用同一套质量门槛重新打分，筛出可用于预训练的数据。
- 原论文使用 Llama-3.3-70B 作为改写教师模型。
- 这次复现基于 Hugging Face Jobs 和 datatrove，作者称整个 PoC 只花了大约 $11 的 GPU 成本。
- 实验里，一个 9B 模型 在原论文自己的质量门槛上表现甚至优于 70B：
- 61.7% 的改写通过过滤器，70B 为 49.6%。
- 盲测配对评审中，9B 改写以 20 比 4 胜出。
- 成本方面，9B 分支大约是 600 条文档 $0.60，折算约 每百万保留 token $0.64。
- 作者按这个速率外推，Meta 公开的 44.4B token 数据集可约 $2.8 万 复现；若按 70B 教师的速率，则约 $36.9 万。
仓库还公开了完整流水线、1,953 条改写结果、成本凭证，以及一个能重新打分所有改写的 CPU 脚本。
「Infra」频道最新
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27
- PyTorch 实测:ExecuTorch+Arm SME2 让端侧流式语音识别提速 2.12 倍 — PyTorch · 2026-10-27
- NVIDIA 演示投机解码加速 Jetson 端侧 LLM 推理 — NVIDIA Developer · 2026-10-27
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27