「chicken」也能让基座模型推理：论文作者复盘先画图后做实验的写法
RulinShao · x · 2026-10-13
研究者 Sophie Wang 发布长文，复盘其论文《Base Models Can Reason By Taking a Cue From Training Data》的写作过程。该论文的核心发现是：给基座模型合适的起始 token（如「Okay」甚至「chicken」）即可引出推理能力，达到接近 RL 后训练的水平，作者将其归因于模型学到的训练数据关联，并用简单的数据编辑复现了这一现象。
写作方法论部分更受关注：
- 她在实验出结果之前就先「分镜」所有图表，再围绕图表设计实验，把沟通放在研究前端而非最后一步，以此把直觉转化为可证伪假设
- 每张图只传达一个观点：Figure 2 原本同时画 pass@1 和 pass@16，最终删掉 pass@16 以聚焦「token cue 能否让基座单次精度逼近 RL」
- 工具细节：用 Matplotlib 绘图，Graphik 作无衬线主字体、B612 Mono 用于代码文本，配色采用 Tailwind v4 调色板（OKLCH 色彩空间）
项目始于她在 UC Berkeley 访学期间与 Amil Dravid、Alyosha Efros 合作，最初研究权重空间低秩子空间方向两个月无果，后转向直接考察推理输出本身的 token 特征。
「研究」频道最新
- 偏好训练可能只改表层？内部读出揭示「表面合规」风险 — Sauers_ · 2026-10-13
- DUET 论文：评分器与 Agent 同步进化，Finance Agent 达 96.5% — dair_ai · 2026-10-13
- Base Labs研究:模型迭代学习新事实,旧知识为何被覆盖遗忘 — baseten · 2026-10-13
- 部署正成机器人策略后训练的运营层:干活同时收集真实世界 RL 数据 — paigeinsf · 2026-10-13
- J++ Lens 可解释性新方法:忠实读出率比 J-Lens 提升 55% — wesg52 · 2026-10-13
- 空间生物学处理成本五年未降，仍需5000-10000美元每张切片 — anshulkundaje · 2026-10-13