论文：开头加".\n\nOkay"，基座模型数学准确率42%飙至78%
kastnerkyle · x · 2026-10-22
Sophie L. Wang 等人（UC Berkeley，含 Alexei Efros）的新论文《Base Models Can Reason By Taking a Cue From Training Data》发现：
- 起始 token 强烈影响推理行为：固定特定开头提示，基座模型在数学和编码上可匹敌 RL 训练版本。例如 ".\n\nOkay" 让 Olmo-3-7B 的 MATH-500 pass@1 从 42% 升至 78%，"Alright," 让 Qwen3-14B 从 72% 升至 87%。
- RL 后训练的作用机制：RL 让这些 token 更容易出现，而固定这些提示能恢复 RL 相对基座的大部分性能增益。
- 因果数据干预：可以把任意词（如 "chicken"）改造成有效推理线索，或移除现有线索的效果；类似编辑能让 "Think duck duck goose" 与 "Think step by step" 同样有效。
- 不同线索诱导的隐藏状态表征与训练集中不同文档类型相关。
- 安全案例研究：不同线索会激发不同的拒绝/顺从行为，对应不同类型的训练数据。
「研究」频道最新
- BottleCap 发 ThinkingCap 版 Qwen3.8-Flash-Next,思考 token 平均省 38.5% — Thom_Wolf · 2026-10-23
- DLOSAC:用 Delaunay 三角剖分引导的局部优化改进 RANSAC 几何估计 — zhenjun_zhao · 2026-10-23
- 新基准论文：用 3D 基础模型重建地理多样化建筑 — zhenjun_zhao · 2026-10-23
- FineSplat：细粒度图像块前馈 3D 高斯泼溅，重建精度大幅领先 — zhenjun_zhao · 2026-10-23
- ReDT：分辨率解耦视觉几何 Transformer，2K 重建提速 16 倍 — zhenjun_zhao · 2026-10-23
- 因果时空 Mamba：单目视频前馈 4D 重建新框架 — zhenjun_zhao · 2026-10-23