kalomaze：DCLM 去重数据集仍是通用网页文本最佳选择
kalomaze · x · 2026-10-12
kalomaze 表示在自己的用途里，去重后的 DCLM 数据集仍然是「够好用的通用网页文本」之王。他不理解为什么 FineWeb 会被 nanogpt speedrun 等项目奉为标配——在他看来 FineWeb 甚至算不上最好的 CommonCrawl 二手回炉数据。
「研究」频道最新
- UW 团队展示 RL 训练机器人：与行为克隆效果天壤之别 — chris_j_paxton · 2026-10-12
- 西湖大学团队量化扩散模型生成顺序:RAE 空间呈抽象到具体层级 — sedielem · 2026-10-12
- Pedro Domingos：模型正在“吞掉”工程 harness，Musk 称 FSD 同款路径 — DanielKhashabi · 2026-10-12
- 数据空间迭代替代流离散化，少步生成新范式登 arXiv — bdsqlsz · 2026-10-12
- Quanta 深文追问:注意力机制凭什么是智能的全部? — calabi_and_yau · 2026-10-12
- LEAN 证明翻车另外两种方式：正确但无法解读，或利用 kernel bug 实为错误 — gklambauer · 2026-10-12