tangermeme 优化 extract_loci,基因组建模数据加载提速十倍达 0.35 秒

jmschreiber91 · x · 2026-10-11

jmschrei 的 tangermeme 项目继续提速基因组数据处理管线。新合并的 PR 将 extractloci 的 FASTA 读取改为基于 .fai 索引的内存映射,并用 numba 多线程内核直接对读入窗口做 one-hot 编码,取代逐窗口的 pyfaidx 读取;bigWig 读取则替换为新项目 figwig。在 167,750 个 ATAC-seq 峰位加负例、单 bigWig、8 线程的基准上,单次调用从 3.64 秒降到 0.35 秒,不含信号时从 3.25 秒降到 0.09 秒,且在 11,039 次调用上输出、报错与警告与原版完全一致。目标是做成基因序到功能建模中最快的「磁盘到 GPU」数据加载路径之一。