Yoav Golad 质疑认知核心构想：LLM 成功靠海量数据

随着「认知核心」理念再度流行，Yoav Golad 连发两条帖子表达质疑。他指出 LLM 的成功关键在于海量数据训练，并回顾历史称在中等规模数据上预训练 Transformer 并未带来类似成果。他进一步追问：相比前 LLM 时代，如今实现「认知核心」的优势究竟何在？是依靠蒸馏，还是重新把「核心」定义为知识较少但仍含不可控知识的形态？

2026-08-19 ~ 2026-08-19 · 2 条相关