Hugging Face 发布 FinePhrase 讲义：486B token 合成预训练数据集，网页改写 90 种
NielsRogge · x · 2026-11-06
Hugging Face 的 Joel Niklaus 公开了在马克斯·普朗克智能系统研究所（MPI-IS Tübingen，Moritz Hardt 组）客座讲座的幻灯片，介绍 FinePhrase——一个 486B token 的开源合成预训练数据集：
- 方法：用小型语言模型把网页以 90 种不同方式改写，然后分别预训练 1.7B 模型对比效果；累计改写超 1T token（90 组实验、1558 份文档）。
- 最佳改写方向：把页面变成 FAQ、数学应用题、表格或教程。
- 讨论中的两点反思：除 benchmark 成绩外还应测量 held-out 文本的 perplexity；可以尝试用大模型直接评判数据质量作为代理，替代逐版本预训练的成本。
- 幻灯片列出了与 Colin Raffel、Thomas Wolf 等人的合作团队（Hugging Face、Sheffield 大学、日本 NII）。
数据集与讲义均已公开，对研究合成数据质量与预训练策略的团队有直接参考价值。
「研究」频道最新
- 斯坦福新记忆系统：16 个 token 记住全部对话，提速 27 倍 — 141_1337 · 2026-11-06
- Fraunhofer ViT-HarDis：按样本难度解耦注意力头，零成本提升人脸识别 — FraunhoferIGD · 2026-11-06
- KCL 提出可检验跨模型通信的 PLatour 框架，揭示部分收益为假象 — KingsCollegeLondon · 2026-11-06
- 庆应义塾团队让全波形 LiDAR Transformer 跑进实时：token 剪枝加物理增强 — Kotaro Oishi · 2026-11-06
- 研究让 ChatGPT/Grok/Gemini 接受 4 周心理治疗，模型开始「坦白创伤」 — esrtweet · 2026-11-06
- 仅凭论文标题,Google AI 助手就能生成核心发现摘要 — EhudReiter · 2026-11-06