处理海量3D数据：两级数据加载与内存映射技巧

capetorch · x · 2026-08-12

讨论了在处理大规模3D数据集时面临的数据加载成本问题。由于直接加载原始数据并丢弃99%的点非常耗时，作者建议使用 memmap、pinmemory 和带有重用的伪随机采样等技巧来提升效率。

此外，在这种场景下传统的 epoch 概念变得模糊且难以定义。因为每次只能看到数据的一小部分，且表面点和体积点之间存在不对称性，通常需要构建一个两级数据加载器：先采样原始案例，再分别对表面和体积进行二次采样。