论文速递:基于迹形式熵的镜像下降与指数梯度新算法
FrnkNlsn · x · 2026-08-01
arXiv 新论文介绍了基于变形对数定义的迹形式熵推导出的一大类镜像下降和广义指数梯度算法。研究表明,利用这些广义熵能够有效改善算法的收敛性,增强对梯度消失和爆炸的鲁棒性。该框架在统一的几何视角下,揭示了加法、乘法和自然梯度更新之间的深刻联系。
「研究」频道最新
- 斯坦福教授探讨高速互联技术:Scaling 趋势或将见顶 — jwt0625 · 2026-08-01
- Google 新论文 FLARE:注意力机制降耗 600 倍,或助力端侧大模型 — dejanseo · 2026-08-01
- 拆解 DoorDash、Instacart 与 Uber Eats 的 AI 搜索架构差异 — Pavan_Belagatti · 2026-08-01
- ICLR 27新规:主席无需长篇总结,官方呼吁慎用LLM — danish037 · 2026-08-01
- 不足1B参数反超8B:Light-MER让多模态情感识别跑在边缘设备 — 新智元 · 2026-08-01
- 研究者称上下文MoE可廉价转为纯查找模型,寻求算力资助 — breath_mirror · 2026-08-01