预训练 Transformer 搜新粒子：1 万样本胜 30 万从零训练
bravo_abad · x · 2026-10-30
AI 预训练方法进入粒子物理搜索
在大型对撞机中寻找新粒子，传统做法是针对每种可能的信号单独训练一个模型，每次搜索几乎都从零开始。
Hsu 等人构建了 EVENET：一个在 5 亿次模拟碰撞上预训练的 Transformer。预训练结合两条路线：
- 通过扩散式重建还原隐藏的粒子信息
- 同时用模拟器已知的真实物理过程做监督学习
关键实验结果
测试设定为一个未出现在预训练数据中的假想希格斯粒子衰变。结果：
- 预训练模型仅微调 1 万个样本，搜索灵敏度就略超同架构从零训练 30 万样本的模型
- 相当于特定搜索所需样本量减少 30 倍
模型仍需在新任务上训练，但预训练学到的结构可迁移，说明「先学已知物理」能大幅降低新物理搜索的数据成本。
「研究」频道最新
- 物理学者质疑 OpenAI Navier-Stokes 解：脱离真实物理、毫无物理意义 — GaryMarcus · 2026-10-30
- ELLIS x UniReps 讲座：不同学习过程为何收敛出相似表征 — ClementineDomi6 · 2026-10-30
- Anthropic 论文:0.1% 预训练投毒即可给 Agent 埋下远程执行后门 — omarsar0 · 2026-10-30
- CopeNLU 团队在 EMNLP 2026 发布 7 篇论文，聚焦偏见与可解释性 — IAugenstein · 2026-10-30
- 两阶段 3D ResNet 从 MRI 筛查新生儿脑病，AUC 达 0.919 — Dr_Alex_Crimi · 2026-10-30
- 40 年神经元移植为何进展缓慢?帕金森细胞疗法能否被 AI 加速 — patrickmineault · 2026-10-30