KAN 作者刘子鸣发布 Architecture IQ：LLM 训练直觉仍逊人类

MIT 研究员、KAN 论文一作刘子鸣（Ziming Liu）于 10 月 23–24 日发布 Architecture IQ 基准并连发推文阐述观点：LLM 的「训练直觉」仍有根本局限，某些场景下人类可以胜出——他举例称何恺明凭直觉设计出 ResNet，不需要如今 LLM 动辄百万 token 的思维链。他还提出，AI 研究的「语言」尚未被发明，如同让亚里士多德训练的 LLM 学不会当时还不存在的现代数学物理；今天的训练技巧更像炼金术，LLM 学到的是相关性而非机制。

已确认

• 基准设计：共 500 道题（MetaCircle 发布信息），每题给出一个合成数据集和三种训练配方（模型/优化器/超参组合），要求预测哪种组合测试损失最低，答案经真实训练运行验证，任务覆盖回归、分类与 next-token 预测。
• 主要结果：GPT-5.6 Sol 整体准确率 76.4%（随机水平之上）；LLM 对优化器排序较准（85–87%），但选架构仅 38–61% 且对数据特性不敏感；把「训练物理学」直觉（如累积有效学习率 U，Adam 约为 ηT、Adagrad 约为 2η√T、NTK 曲率、零动量 SGD 失效等）压缩成决策树策略后，出袋准确率达 78.2%。
• 经验知识库实验：用 Claude Opus 5 构建证据加权知识库、沉淀最多 20 条原则，不做任何权重更新，GPT-4o 在 50 道留出题上准确率从 53.2% 升至 67.6%。
• 四大局限总结：直觉不完美（部分场景不如人类）、缺乏结构化、未被最大程度压缩、对数据不敏感。

为什么重要

• 该工作为「LLM 能否自主做 AI 研究」提供了量化证据：优化器层面直觉较强，但架构选择层面明显不足，且经验可以低成本沉淀复用，提示人类经验与结构化知识库仍是提升模型研究能力的关键杠杆。

2026-10-23 ~ 2026-10-24 · 11 条相关

• 【源头】ArchitectureIQ 基准：GPT-5.6 Sol 训练直觉达 76.4%，仍逊于人类部分领域 — ZimingLiu11 · 2026-10-23
• Kimi 研究者推 Architecture IQ：LLM 训练直觉仍远逊人类 — ZimingLiu11 · 2026-10-24
• 「人类训练直觉仍可胜过LLM」:Architecture IQ 量化研究发布 — ZimingLiu11 · 2026-10-24
• 测LLM训练直觉:预测哪种优化器组合测试损失最低 — ZimingLiu11 · 2026-10-24
• 【源头】LLM 选优化器准确率 85%,选架构仅 38-61% 且对数据盲 — ZimingLiu11 · 2026-10-24
• 训练物理直觉压成决策树,LLM 判断策略出袋准确率 78.2% — ZimingLiu11 · 2026-10-24
• 【源头】MIT 刘子鸣:用经验知识库把 GPT-4o 准确率从 53% 提到 68% — ZimingLiu11 · 2026-10-24
• LLM训练直觉四大局限:不完美、非结构化、不浓缩、不敏感 — ZimingLiu11 · 2026-10-24
• KAN 作者刘子鸣：AI 科学语言尚未诞生，LLM 训练直觉有四大局限 — ZimingLiu11 · 2026-10-24
• KAN 作者刘子鸣：AI 研究的「语言」还没被发明，LLM 自然学不会 — ZimingLiu11 · 2026-10-24
• KAN 作者刘子鸣：AI 研究缺的不是算力，而是「AI 科学」的语言 — ZimingLiu11 · 2026-10-24