Burkov：2000 基础词类比称 7B 模型足以理解语言任务

《机器学习算法 Ab initio》作者 Andriy Burkov 提出类比：《朗文当代英语词典》仅用约 2000 个最常见词作释义词表，就解释了英语中近 23 万个复杂词汇，如 predilection、photosynthesis 等。据此他认为，一个只用 2000 个基础词训练的 7B 小模型，或许就足以理解任意语言任务，引发关于小模型能力边界的讨论。

2026-09-22 ~ 2026-09-22 · 2 条相关