贝叶斯多臂老虎机研究:多次选择与探索激励能否解决推荐冷启动失衡

burkov · x · 2026-10-31

Burkov 分享了一篇分析风格化贝叶斯多臂老虎机模型的文章,研究在线推荐中的探索不足问题。经典困境是:用户只为自身即时收益做选择,倾向回避不确定的选项,导致平台收集不到足够证据,较弱的选项得以长期占据热门。文章追问:当每个人在一个短 episode 内可做多次选择、且出于自身未来收益有一定探索激励时,这个问题是否会消失。模型设定两个成功概率未知的固定选项,每个新 agent 可看到历史选择与结果,其效用函数可以是 episode 收益的总和、最大值、最小值或其他限定函数,并引入 skip 选项和小额选择成本。