开源工具 DataFlex 把数据策略做成训练中可调的四操作层
Puzzleheaded_Box2842 · reddit · 2026-10-15
作者指出多数训练管线在开跑前就固定数据集、混合比例与采样规则，但随着模型学习推进，哪些样本有用、该给多少注意力是动态变化的。
他们基于 LLaMA-Factory 构建了一个可训练中途调整的数据策略层 OpenDCAI/DataFlex，把数据控制拆成四个可组合操作：
- Select：选择下一批训练样本
- Mix：调整不同领域/数据源的比例
- Weight：修改单个样本对 loss 的贡献
- Reorder：控制样本出现时机（含 curriculum 课程表）
四者可组成流水线（选子集→调领域配比→排顺序→赋权），保持组件独立便于替换策略或组合实验。策略通过配置选择，自定义实现经 registry 注册。
作者还抛出开放问题：哪些训练反馈信号值得花成本收集？数据策略应多久更新一次？
「编程与Agent」频道最新
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15
- 92.7 万字符的 epstein.md：专门消灭 AI 味设计的 .md 文件走红 — karmay007 · 2026-10-15