IFM 开源训练库 xLLM:tokenizer 和 chat template 可热改,千行 Jinja 不用重跑
HildeKuehne · x · 2026-09-29
IFM Lab 发布训练库 xLLM,主打灵活可变的在线数据 pipeline,支持对 chat/instruction 数据做微调:tokenizer 与数据配比可在训练中随时调整,换新 tokenizer 或 chat template 只需改配置,不用重跑数据处理。特性包括:
- 直接从 JSONL 流式 tokenization;
- 数据配比可配置,带缓冲 shuffle;
- Bestfit packing 在序列内保持文档完整且 padding 极少;
- 并行加载与异步准备把 CPU 工作与 GPU 训练重叠,吞吐不受影响。
团队强调灵活性不是「锦上添花」:他们在训练中不断发现 chat template 的小 bug(最终 Jinja 有 1000 行),正是能快速调整 tokenizer 和 template 才让训练中途完成修复。共同作者 Hilde Kuehne 转发了这一发布。
所属事件:IFM Lab 开源 xLLM 训练库,tokenizer 与数据配比可热切换(2 条相关)→
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16