NeMo Data Designer 技术报告:25 万亿 token 已流经该合成数据框架
code_star · x · 2026-09-18
NVIDIA 旗下团队(源自被收购的 Gretel)为开源多模态合成数据生成框架 NeMo Data Designer 发布技术报告(arXiv:2609.17699)。
要点:
- 框架采用声明式配置:用户或 agent 为数据集的每一列定义生成方式,列类型覆盖文本、代码、结构化输出、图像、嵌入与统计采样器,并显式配置以控制数据多样性;可经插件系统扩展。
- 配置本身是可检查工件,支持工作流共享与复现;内置预览-修订循环,先生成少量样本检查、再全量生成。
- 运行时负责依赖解析、调度用户提供的模型端点调用与失败重试。
- 报告称累计已有超过 25 万亿 token 通过 Data Designer 生成,案例覆盖结构化、agentic、多模态与领域专用任务,包括 Nemotron 模型训练所用数据集。
- 作者回顾了在 Gretel 时期(被 NVIDIA 收购前)手工搭建该工具、后开源的历程,并指出 agent 时代框架的设计恰好让 agent 能自主用它构建数据集。
所属事件:NVIDIA 开源 NeMo Data Designer，25 万亿 token 流经该框架(3 条相关)→
「编程与Agent」频道最新
- Univer 开源项目攻坚 Agent 办公难题,累计 3 万+ Star — alifcoder · 2026-09-19
- 微软 Playwright 远程 MCP 上线：22 个浏览器工具补齐 agent 最后一公里 — WirelessLife · 2026-09-19
- Ada.Url 登陆 .NET：比 System.Uri 快 1.9 倍且符合 WHATWG 标准 — lemire · 2026-09-19
- DiffUI 作者访谈:先图像探索再交给编码 agent,治 AI 设计油腻 — msg · 2026-09-19
- AI 时代活跃度工程指标失灵:76% 团队用 AI 助手仅 34% 能量化收益 — rseroter · 2026-09-19
- Xcode 可一键导出技能包供编码 Agent 使用，含完整审计命令 — rudrank · 2026-09-19