LLM 选优化器准确率 85%,选架构仅 38-61% 且对数据盲
ZimingLiu11 · x · 2026-10-24
推文串第 1、2 节介绍一个新评测:每题给出一个合成数据集和三个训练配方,要求模型预测哪种模型、优化器与超参组合能取得最低测试损失,任务覆盖回归、分类与 next-token 预测。结果显示:LLM 对优化器排序较准(85–87%),但对架构选择很差(38–61%);当仅更换数据集导致最优解翻转时,多数模型仍重复原选择,命中率达到或低于 50% 的「数据盲」下界;增加推理 token 也未带来稳定收益。
所属事件:KAN 作者刘子鸣发布 Architecture IQ：LLM 训练直觉仍逊人类(11 条相关)→
「研究」频道最新
- 研究者警告：Opus 5.5 爱硬反驳，未来半年恐现大量假阴性 — adam_karvonen · 2026-10-24
- 陶哲轩:AI 把优美数学变成「有毒废料」 — TheObserverUK · 2026-10-24
- Matt Niessner 实验室湖畔研讨：审 CVPR 论文兼学跳舞 — angelaqdai · 2026-10-24
- Mistral 发布开源时序模型 Timestral，209M 参数登顶三项基准 — hkproj · 2026-10-24
- 自称实现 O(1) 内存任务无关持续学习：零回放零反传零内存增长 — Horror-Celery4869 · 2026-10-24
- Svante Pääbo 团队用 AlphaGenome 重建人类基因调控演化史 — gleech · 2026-10-24