训练物理直觉压成决策树,LLM 判断策略出袋准确率 78.2%
ZimingLiu11 · x · 2026-10-24
推文串第 3 节:研究发现 LLM 在做训练配置判断时会调用「训练物理学」直觉——如累积有效学习率 U(Adam 约为 ηT,Adagrad 约为 2η√T)、NTK 曲率、零动量 SGD 失效等概念。把这些直觉压缩成一个人可读的决策树策略后,在出袋测试中达到 78.2% 的准确率,说明人类直觉可以被显式压缩为规则。
所属事件:KAN 作者刘子鸣发布 Architecture IQ：LLM 训练直觉仍逊人类(11 条相关)→
「研究」频道最新
- 研究者警告：Opus 5.5 爱硬反驳，未来半年恐现大量假阴性 — adam_karvonen · 2026-10-24
- 陶哲轩:AI 把优美数学变成「有毒废料」 — TheObserverUK · 2026-10-24
- Matt Niessner 实验室湖畔研讨：审 CVPR 论文兼学跳舞 — angelaqdai · 2026-10-24
- Mistral 发布开源时序模型 Timestral，209M 参数登顶三项基准 — hkproj · 2026-10-24
- 自称实现 O(1) 内存任务无关持续学习：零回放零反传零内存增长 — Horror-Celery4869 · 2026-10-24
- Svante Pääbo 团队用 AlphaGenome 重建人类基因调控演化史 — gleech · 2026-10-24