AMLworld-Compact:重要性加权降采样,评测目标减少最高 611 倍

typhoon-ai · hf · 2026-10-12

SCB DataX 发布 AMLworld-Compact,解决反洗钱数据集 AMLworld 上 LLM 评测成本过高的问题——百万级目标每个都需单独的图 prompt。

方法与结果:

• 保留全部非法交易,从监督分层中采样良性交易,HT-Coreset 协议将 HI-Small/LI-Small 评测目标分别缩减 271 倍和 611 倍
• Horvitz-Thompson 加权给出全测试集混淆矩阵的无偏估计:召回率精确,精度与 F1 为比率估计
• F1 RMSE 为 0.00–2.58 个百分点,而均匀采样为 4.44–7.41
• 审计显示 7 个开源 LLM 在图 prompt 下的加权精度接近「全部预测为非法」基线;对 1000 条输出的词法检查中,正确判定 84.5% 通过而错误判定仅 56.2%,说明此类标记不能证明正确性

评测集、构建代码与审计工具已开源。

原文链接 →

「研究」频道最新

• DiffusionART 训练视频模型省 12 倍 GPU 时,奖励还高出 53% — KlingTeam · 2026-10-12
• Reflex 人形机器人用第一视角接住抛来的箱子,实机最高 65% 成功率 — UW · 2026-10-12
• KAIST 与 LG 提出 SynthSelf,让小模型持续学习不再遗忘旧能力 — LG-AI-Research · 2026-10-12
• Meta 团队提出 ReHarness,反向修订经验让智能体在线持续学习 — Yuxin Xiao · 2026-10-12
• 高维堆积沙盒:蒙特卡洛软球硬化成方块,逼近五维堆积纪录 — idanbeck · 2026-10-12
• willcb:除 RL 外的算法都是在用代理目标回避直接优化 — willcb · 2026-10-12

更多「研究」频道 AI 资讯 →