放松链式规则引出新散度,Tilted ERM 提升泛化性
burny_tech · x · 2026-08-20
分享两个机器学习理论趣事:
- 放松链式规则后,可以得到一个由单个倾斜参数参数化的新散度。
- 将经验风险最小化(ERM)中的 KL 散度(交叉熵损失)替换为倾斜版本(Tilted ERM),可以改善训练/测试不匹配情况下的泛化能力。
「研究」频道最新
- GLM-5.3 测 Agent 能力,DeepSeek 暴怒通关 ToME4 — karminski3 · 2026-08-20
- Qwen3.8 与 Gemma4 等多模型本地部署量化横评预告 — karminski3 · 2026-08-20
- 强化学习数学系列第 14 期:基线、优势函数与 Actor-Critic — ShawnHymel · 2026-08-20
- GPT-5 与 Gemini 2.5 Pro 夺国际天文奥赛金牌 — hhsun1 · 2026-08-20
- 上海新论文:智能体威胁随认知层级升级而演变 — rohanpaul_ai · 2026-08-20
- Steerling-8B:训练时植入可解释性的扩散模型 — burny_tech · 2026-08-20