hill climbing≠RL：厘清刷榜、基准测试与 benchmaxxing 三概念
dejavucoder · x · 2026-11-11
dejavucoder 回应 llmwizard 发起的讨论，澄清三个常被混用的概念：
- Hill climbing（爬山法）：常被误认为 RL，实际更像是通过迭代调整输入来优化某个领域指标——可调的东西包括 SFT 数据、RL 环境、scaffold、harness、prompt 等。
- Benchmarking（基准测试）：通过任务集合测量模型在某个领域的表现。
- Benchmaxxing（刷榜）：直接或以高度相似的合成数据在评测任务上训练，或对 scaffold 过度调优——结果是分数很好看，但能力并没有真正到位。
核心区分在于：爬山法是训练侧的优化手段，基准测试是测量手段，而刷榜是让分数与真实能力脱节的行为。
「研究」频道最新
- 数学家 Strogatz 探问：当 AI 成为「神谕」，数学将走向何方 — stevenstrogatz · 2026-11-11
- 从莱布尼茨行列式到向量空间：线性代数两百年演化一图看懂 — burny_tech · 2026-11-11
- MessyMem 入选 CoRL 2026 主会海报，探索机器人智能体长期记忆 — leto__jean · 2026-11-11
- Tree-Ising：90 美分修复小模型推理循环，胜过 LLM 权重编程 — pmttyji · 2026-11-11
- 4000 字图论入门长文：从城市交通讲起的可视化教程 — TivadarDanka · 2026-11-11
- 递归自我改进后 AI 进步仍可达 2024 年 3 倍速度 — ben_j_todd · 2026-11-11