eNTK 理论从 BERT 时代走向现代 LLM 预训练，前沿实验室已采用
prfsanjeevarora · x · 2026-08-01
Sadhika Malladi 转发称，其 BERT 时代的 eNTK 论文（arXiv:2210.05643）已被应用于现代 LLM 预训练，并启发了前沿实验室。该论文研究神经正切核（NTK）是否描述预训练语言模型的微调，扩展至 Adam 优化器，并在 14 个 NLP 任务上验证。引用推文指出，用二次模型线性化 150M 模型，局部泰勒展开可追踪训练损失达 10% 的训练预算。
「研究」频道最新
- RLHF 数据成 AI 经济闭环核心，高质量数据设计决定模型生死 — herbiebradley · 2026-08-01
- 斯坦福学者阐述生成式 AI 与智能体在心血管药物发现中的应用 — james_y_zou · 2026-08-01
- 会计任务大考：58%难题无模型能解，Claude居首 — EdwardSun0909 · 2026-08-01
- 图像文本存在性检测：纯二分类任务下的最佳架构探讨 — Relative-Pace-2923 · 2026-08-01
- 论文探讨 AI 全面融入放射学教育 — PRouzrokh · 2026-08-01
- Caltech 推出人类智能启发的多模态 AI 电子皮肤 — yisongyue · 2026-08-01