Gracnia 开源 tabgen-eval:合成表格数据生成模型的评测框架与基准
LucaAmb · x · 2026-11-19
Gracnia 团队开源了针对表格数据生成模型的评测工具包,指出表格数据这类人类直觉失效的领域,生成模型评测尤其微妙。包含两部分:
- tabgen-eval:评测框架,以真实数据为参照,覆盖三大支柱——保真度(Fidelity)、记忆化(Memorization)、实用性(Utility),支持总体与子群体层面的评测、不确定性量化,并带 CPU/GPU 加速的大规模计算能力,Apache-2.0 协议;
- tabgen-bench:配套基准,用于横向对比各表格生成模型。
团队希望这套工具能帮助社区更严谨地评估合成表格数据质量。
「研究」频道最新
- Noam Brown 确认「解纳维-斯托克斯」的是强数学模型,haider 推测为数学微调版 — haider1 · 2026-11-19
- UVA 学者 11 月 18 日在线讲 LLM 自动生成心理测量题目的新框架 — GolinoHudson · 2026-11-19
- 学者称同行评审体系已到临界点,会议规模越大越难维系 — LucaAmb · 2026-11-19
- 上海 AI Lab 发布 GameRealm:1.2 亿帧游戏画面训练视觉基础模型 — Shanghai-AI-Laboratory · 2026-11-19
- KradleBench 发布:LLM、世界模型与人类同台竞技的动态基准 — lmoroney · 2026-11-19
- KradleBench 发布:Minecraft 传奇玩家 SethBling 被 Astra 6.2 拉下榜首 — fchollet · 2026-11-19