Datology AI 攻关回测难题:生成带可控知识截止保证的合成预训练数据
josh_wills · x · 2026-10-30
Datology AI 团队指出一个被忽视的回测(backtesting)灾难:模型在复述文档时会丢失知识截止保证,可能引入原始来源从未有过的信息,污染时间点数据的可信度。
为此他们构建了一套方法,可以生成「可测量、可控知识截止保证」的合成预训练数据。团队成员 parthsur 透露,每一轮基线迭代对泄露声明的捕获精度都在大幅提升,以至于他们不得不每次把测量集扩大一个数量级才能找到残留的泄露项——而最终依然一无所获,说明方法有效。
所属事件:Datology AI 解决 LLM 合成数据回测的知识截止污染问题(2 条相关)→
「研究」频道最新
- arXiv 论文：Self-Directed Repair 让 Agent 从错误中持续学习 — rohanpaul_ai · 2026-10-30
- 把纠错存成 LoRA：Self-Direction 让 Agent GAIA 成功率 38.8%→55.8% — rohanpaul_ai · 2026-10-30
- UCSF 论文：AlphaGenome 系统性低估因果变异效应，细定位表现不及线性基线 — anshulkundaje · 2026-10-30
- NeurIPS 2026 论文数排行：一人挂名 22 篇引作者署名之争 — qberthet · 2026-10-30
- 斯坦福 I3L 让全身机器人部署成功率平均提升 68.3 个百分点 — jiajunwu_cs · 2026-10-30
- 三个模型互相辩论投票找答案，作者踩坑后改用外部裁判判收敛 — lluisantoni · 2026-10-30