内存受限的推荐系统训练：应优先增加批次大小还是负样本数？
_reachsumit · x · 2026-08-12
在大规模神经推荐系统中，采样 softmax 常用于减少最终分类层的内存消耗。但在固定的内存预算下，究竟该优先扩大批次大小还是增加负样本数量，一直缺乏明确指导。
本论文在标准平滑性和方差假设下，从理论和实验两方面给出了答案：最快的收敛速度来自于尽可能多地包含对象（即增大批次大小 $n$）。研究在包括 MovieLens-20M 在内的四个真实基准测试中验证了该结论。
「研究」频道最新
- Agent 框架影响实测:Rust 编写框架跑满 10 项任务 — VoidAsuka · 2026-08-12
- 开源项目用 Jupyter 和 NumPy 可视化推导 ML 算法 — Roger_M_Taylor · 2026-08-12
- MIT 研究：用 ChatGPT 写作导致大脑神经连接变弱 — aakashgupta · 2026-08-12
- 单张图像重建铰接物体：视觉语言融合新框架 — snu · 2026-08-12
- DistilVDR：524M 参数小模型逼近 8B 检索能力 — nanovdr · 2026-08-12
- AdvFD：引入对抗特征空间提升图像生成质量 — Kwai-Kolors · 2026-08-12