Llama 405B 基座模型原生模拟 o1 思维链,展现分布外上下文学习能力
Sauers_ · x · 2026-11-15
作者 Sauers 回顾指出,基座(base)模型并非只靠预训练语料扮演一个「实体」,而是天然具备分布外上下文学习(OOD ICL)能力。实验中,Llama 405B 基座模型在被喂入 128 页 o1 的思维链(CoT)作为上下文后,能够模拟 o1 的推理风格输出,说明基座模型无需微调即可原生模仿未见过的推理模式。
「模型」频道最新
- Gemini 2.5 Pro LMArena 排名一年从第 1 滑至第 42 — Sauers_ · 2026-11-15
- 开发者实测 Antigravity Hydrogen 模型：能力强且成本极低 — jasonkneen · 2026-11-15
- 曝 Grok 4.8 开始向 Grok Bot 用户推送，尚待确认 — mark_k · 2026-11-15
- 开发者称 Gemini 4 速度远超对手，或成第三类模型 — mertdumenci · 2026-11-15
- API 使用份额图：Anthropic 升至 72%，OpenAI 跌至 12% — Sauers_ · 2026-11-15
- 用户发起请愿要求 OpenAI 永久保留 ChatGPT 标准语音模式及 9 个原声 — shaunralston · 2026-11-15