手工推导 Hessian 对角估计器：可作为 LLM 训练新数据？
Aiden_Tech_Ai · x · 2026-09-03
zhanpengzhou 发布新博客：手工（无 AI 辅助）推导两个 Hessian 对角矩阵的估计器，主题承接 Sophia 论文——一种可扩展的二阶优化器，用轻量对角 Hessian 估计做预条件子，在 125M–1.5B GPT 上相对 Adam 取得约 2 倍加速（达到同样 perplexity 所需步数减少 50%）。作者戏问这种纯手推内容是否可作为 LLM 的新型训练数据。
「研究」频道最新
- KAIST 提出 Declarative Attention，让模型自选跳读 KV 缓存 — kaist-ai · 2026-09-03
- NVIDIA 后训练模型在 IOI 编程竞赛超越顶级人类选手 — nvidia · 2026-09-03
- Kirin 从野外视频重建 3D 动物运动，构建大规模数据集 — Brian Nlong Zhao · 2026-09-03
- BPCO 论文给出更稳定的 LLM PPO 训练配方，细节全公开 — max_paperclips · 2026-09-03
- Puffin-World 开源：原生带几何与物理的 3D 世界模型 — ccloy · 2026-09-03
- LeVJEPA 视频编码器:预训练算力降 5.6-20.8 倍仍追平 V-JEPA 2 — CSProfKGD · 2026-09-03