Procedural Core:100 万参数小模型帮 8500 万参数 ViT 提升 ImageNet 2.2 个点
kastnerkyle · x · 2026-10-14
Zachary Shinnick 等人发布 Procedural Core 方法：用一个从未见过真实图像、仅 100 万参数的循环小模型在抽象/程序化数据上训练，然后将其权重「展开」为 8500 万参数 ViT 的初始化，使其在 ImageNet-1k 上 top-1 准确率从 77.6% 提升到 79.8%。
该工作被转引时被评价为「合成/程序化数据预-pretraining」这条研究线的漂亮应用：先在小模型上学到通用的抽象表征结构，再迁移为大型 transformer（ViT 和语言模型皆适用）的更好的通用初始化，从而加速和改善下游训练。
「研究」频道最新
- elder_plinius 发布 V3R1T4S:用闲置算力攻克开放问题,一切需可验证 — Kyrannio · 2026-10-14
- RigidFormer 入选 NeurIPS：用 Transformer 替代物理引擎模拟刚体动力学 — camenduru · 2026-10-14
- Anthropic 2021 年研究路线图曝光:预训练、对齐 scaling law 全在列 — srush_nlp · 2026-10-14
- 介于 SFT 与 RL 之间：on-policy 监督微调框架兼顾泛化与算力效率 — burkov · 2026-10-14
- 让模型扮演用户易过度分享,两个团队独立发现同一失败模式 — niloofar_mire · 2026-10-14
- 新研究：合成数据持续累积时，「模型崩溃」并不会发生 — AndrewLampinen · 2026-10-14