Kimi 研究者推 Architecture IQ：LLM 训练直觉仍远逊人类

ZimingLiu11 · x · 2026-10-24

Ziming Liu（KAN 作者）推出 "Architecture IQ" 基准，主张人类在训练直觉上仍可超越 LLM：何恺明凭直觉设计出 ResNet，而不需要如今 LLM 的百万 token 思维链。该基准测试模型预测哪种模型/优化器/超参组合能产生最低测试损失的能力，发现顶级 LLM 也远非完美。后续推文补充了细节（见本帖相关线程）：模型选优化器较准（85-87%）但选架构很差（38-61%），数据集变化导致赢家翻转时多数模型重复原选择，处于 50% 数据盲猜线或以下；增加推理 token 无一致收益；用 Opus-5 构建证据加权知识库（含累积有效学习率、NTK 曲率等训练物理原则）后，GPT-4o 在 50 道留出题上准确率从 53.2% 升至 67.6%，且无需更新权重——经验可迁移为文本，但仍是增量改进而非真正的 AI 科学。