Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地

Stefania_druga · x · 2026-10-16

Optuna 原作者、Preferred Networks 的秋叶哉(@iwiwi)在 Optuna Meetup #3 上分享的两部分内容(配图为其幻灯片):

• LLM 预训练超参优化:引用 arXiv 论文《Predictable Scale: Part I, Step Law》——该研究从零训练了 3700+ 个 LLM、超 1000 亿 token、耗费约 100 万 NVIDIA H800 GPU 小时(按其估算约 3 亿日元)得出 Step Law:最优学习率与模型规模 N、数据量 D 呈幂律关系,最优 batch size 主要由 D 决定;用它搜索最优超参只需 0.094% 的测试算力。作者借此讨论在动辄数亿日元调参的时代,贝叶斯优化/HPO 从业者还能做什么。
• 推理时扩展与 Optuna 的相似性:展示 Sakana AI 的 AB-MCTS 官方实现 treequest 与 Optuna 的 API 结构高度相似(objective/generate 回调 + optimize/step 循环),称研究 LLM 推理时扩展后发现它「相当像 Optuna」。

活动同时介绍了上周发布的 Optuna 5.0 新功能与 Rustuna。

原文链接 →

「Infra」频道最新

• 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
• RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16
• 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
• 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
• Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
• LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16

更多「Infra」频道 AI 资讯 →