研究发现加起始词即可激发基座模型推理能力

MIT 等机构研究者（含 Alexei Efros）发表论文指出，基座模型本身已具备推理能力，只需在提示词前加上特定起始 token（如 ".\n\n Okay"，甚至「chicken」这样的词）即可激发，使 Olmo-3-7B 在 MATH-500 上的准确率从 42% 提升至 78%，达到与 RL 训练相当的水平。研究将这一现象溯源到预训练数据中的关联，并通过简单的数据编排加以验证，暗示 RL 并非获得推理能力的必需条件。

2026-10-06 ~ 2026-10-06 · 4 条相关

• MIT：固定起始token让基础模型追平RL版，MATH-500从42%到78% — MIT · 2026-10-06
• 在提示词前加「Okay」可让 Olmo-3-7B 的 MATH-500 准确率从 42% 升至 78% — arankomatsuzaki · 2026-10-06
• 论文:开头加两个 token,基座模型 MATH-500 从 42% 升到 78% — arankomatsuzaki · 2026-10-06
• 研究：用「chicken」开头也能让基座模型推理，RL 并非必需 — phillip_isola · 2026-10-06