数据过滤是零权重混合特例,分布基础待解
SinclairWang1 · x · 2026-08-24
SinclairWang1 指出,数据过滤本质上是数据混合中权重为零的特殊情况。他观察到 Nemotron 和 FineWeb 在不同数据分布下能达到相似的性能分数,认为目前在数据分布与混合方面仍需建立大量基础性理解。
「研究」频道最新
- 周末项目:模拟果蝇连接脑驱动虚拟漫游车 — anselm · 2026-08-24
- TACL 期刊招募审稿人,需博士及高引用 — EhudReiter · 2026-08-24
- 研究员热议:超置等新论文让人梦回 2019 年的黄金时代 — _xjdr · 2026-08-24
- Biomni:可自主执行生物医学研究工作流的通用 AI Agent — bravo_abad · 2026-08-24
- Anthropic 公开 2026 智能体对齐失败案例研究 — voooooogel · 2026-08-24
- Hugging Face 用夜间 Agent 自动挖掘 arXiv 上的失传开源模型 — NielsRogge · 2026-08-24