首个开源可解释 LLM 训练 dataloader GuideLoom 发布,支持 100M 到 32B 训练
juliusadml · x · 2026-10-28
GuideLabs 开源了 GuideLoom,自称首个面向大规模可解释语言模型训练的 dataloader。团队已用它训练从 100M 到 32B 参数的模型。
它支持以文档、token 流或带 span 标注的 token 流三种形式存储数据;训练时用 PyTorch DataLoader 在全数据集上 shuffle,让每张 GPU 并行读取自己的样本,重启后能从精确的 batch 恢复。安装:pip install guideloom[torch]。
「研究」频道最新
- 研究者：逐电子计数会让模拟更显无望，粗粒化可递归上推尺度 — TimothyDuignan · 2026-10-28
- 粗粒化模拟可跨尺度放大，回应全原子生物体模拟不可行之说 — TimothyDuignan · 2026-10-28
- Agent harness 要被模型「吃掉」了?蒸馏实验显示通用脚手架正被训练进模型 — rseroter · 2026-10-28
- 「抽象神经元当嵌入」在词相似度上胜过全部 SOTA,句子检索惨败 — mayfer · 2026-10-28
- 普渡大学推出无GPS无人机:片上激光雷达穿越密林追踪目标 — DavidSKrueger · 2026-10-28
- 研究者推出「AI间道德」实证研究议程，聚焦AI如何感知与对待彼此 — dioscuri · 2026-10-28