用贝叶斯 Bandit 从数学上定义「好奇心」
CatAstro_Piyush · x · 2026-09-04
Francesco Sacco 发布博客《The Bayes Bandit: What is Curiosity? Mathematically?》，尝试为 AI 领域最核心的问题之一——好奇心的数学基础——建立框架，并附代码仓库。
- 核心主张：一旦好奇心有了好的数学框架，整个数据集策展领域都将被取代；这是作者系列文章的第一篇，后续将扩展到完整国际象棋引擎等更复杂环境。
- 切入点：从强化学习最基础的问题——K 臂老虎机（K-armed bandit）讲起：每台机器以未知均值和方差的高斯分布给出带噪声的奖励，agent 拉的次数有限，需最大化总收益。
- 核心权衡：每次拉杆都要在「利用已知最优臂」与「探索未知臂」之间取舍；文章配有交互式图表，读者可亲手尝试在隐藏分布下寻找最优策略。
- 方法：用贝叶斯方法（Bayes Bandit）对每个臂的奖励分布建模，展示证据积累如何让每条臂的经验分布（violin 图）逐步显现。
- 页面专为桌面端设计，含大量交互图形；配套代码开源在 GitHub。
「研究」频道最新
- Martian:跨 44 个 LLM 路由可在 16 项基准上减少 46% 错误 — Arindam_1729 · 2026-09-04
- Yoshua Bengio 等发布 rogue AI 监测框架论文，源自美国 FFRDC 跨实验室研讨 — Miles_Brundage · 2026-09-04
- FlashRender:相机控制视频少步生成渲染,兼顾质量与速度 — everex · 2026-09-04
- LatentStream:渐进式潜在记忆演化让流式视频理解持续推理 — Hongyu Qu · 2026-09-04
- Temporal Context Routing：让音视频生成的镜头与台词对齐剧本时间轴 — Yichen Liu · 2026-09-04
- Puffin-World:用原生 3D 世界状态扩展统一多模态世界模型 — Kang Liao · 2026-09-04