涌现能力怎么定义?Wei et al 2022 阈值说 vs 泛化说之争
gabriberton · x · 2026-09-20
作者 gabriberton 在讨论 LLM 涌现能力时提出:涌现不应定义为「模型没为 A 训练却学会了 A」这种泛化式理解,而应采用 Wei et al (2022) 的阈值定义——即某任务在小规模模型上完全无法完成,但参数规模跨过阈值后能力突然出现。他举例三位数加法:10B 参数以下的 LLM 做不好(1B 模型和 1M 模型一样差),但跨过 10B 后成绩急剧跳升。这条引文澄清了 AI 圈里「涌现」一词常被混用的两种含义。
「研究」频道最新
- 亿级规模 arXiv 完整数据集登 Hugging Face 热门榜 — secemp9 · 2026-09-20
- 谷歌 ScientistTwo 自主改进 86/107 个 ML 问题，成功率 80.4% — rohanpaul_ai · 2026-09-20
- 谷歌 ScientistTwo 论文：全自主多智能体框架产出可发表级研究 — rohanpaul_ai · 2026-09-20
- Gated Recurrent Transformer:3层循环深度模型打平12层GPT-2 — burny_tech · 2026-09-20
- 斯坦福造出 3.7 万 AI 科学家智能体虚拟药企 — Dr_Singularity · 2026-09-20
- 理论计算机学者自嘲：一年前质疑 LLM 证明猜想，如今已被打脸 — burny_tech · 2026-09-20