tokenizer 成新Scaling轴：RePR让DINO式表征直接服务生成
GordonWetzstein · x · 2026-10-20
斯坦福 Wetzstein 组等推出 RePR：一种可扩散（diffusable）的表征学习方法，专为「作为生成用 tokenizer」而学。作者指出，现有 tokenizer 通常优化重建（VAE）或判别（DINO），与下游生成任务存在错配；DINO/LeJEPA 类方法在大规模下会 collapse，而 RePR 给出了有原则、可扩展的替代方案。
关键结果：得到 tokenizer 与 diffusion 的联合 scaling laws，且在同等算力下比裸 diffusion 更 compute-optimal——意味着「tokenizer 是一条新的 scaling 轴」。合作者包括李飞飞、John照样（jcjohnss）等。论文、线程与博客已发布。
「研究」频道最新
- 280 个纤维化增强子图谱绘出:CRISPRi CROP-seq 系统扰动 55 万细胞 — anshulkundaje · 2026-10-20
- Jason Wei：放射科不会被 AI 自动化，需求弹性是关键变量 — _jasonwei · 2026-10-20
- 研究：生成式AI只让高元认知者更有创造力，其余人零提升 — korymath · 2026-10-20
- EMNLP 论文:换个打分方案就能改写 LLM 排名 — BrihiJ · 2026-10-20
- 微软发布 UserRepGen-4B:用户模拟保真度瓶颈在用户表征 — BrihiJ · 2026-10-20
- 开源AI文本检测模型发布：比商业检测器便宜且可共建改进 — danish037 · 2026-10-20