数据清洗之争：文本训练中过滤策略的关键性
code_star · x · 2026-08-24
针对数据过滤的有效性，作者反驳了视觉领域的观点，指出文本数据中垃圾内容占比极高（如 90%），训练未经过滤的 Common Crawl 原始数据不可行。作者认为 "打地鼠" 式地移除明显坏数据是必须的，并指出如果过滤无效，往往是因为评估集本身存在问题，也需要清洗。
所属事件:训练数据「过滤还是选择」之争：文本派反击视觉结论(5 条相关)→
「Infra」频道最新
- Apple 与 Meta 七年来首次公开合作：Mac Studio 串联跑 Muse Spark 模型 — pdamodaran · 2026-10-16
- NVIDIA 开发者生态达 1100 万，四 年多增长近 3.7 倍 — Beth_Kindig · 2026-10-16
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- Meta 发布开源模型 Muse Spark Open,联手 Apple 可跑在 M5 Ultra Mac Studio — The Verge AI · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16