Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models
Xiaoyu Luo, Tao Ren, Wenrui Yu, Xiao Li, Qiongxiu Li, Johannes Bjerva
cs.CL, cs.AI, cs.CR
2026-09-23
用强制首次 tool call 抽出隐藏推理痕迹。开源上 Forced 接近 Native;Astra MATH 93.8%、树宽中位 5,弱模型读其压缩痕迹会把已写出的答案读丢。
闭源前沿模型把原生 chain-of-thought(逐步推理痕迹)藏在专用通道里,对外只给最终答案、摘要,或一个粗粒度的「思考强度」旋钮。基准分数能告诉你模型解没解对,分不清它是走对了步骤,还是碰巧蒙对。部署里要追责某一步推断时,这个缺口就是真问题。
已有工作从加密推理块、输出反演、提示暴露等路径抠痕迹。这篇换了一条更轻的路:用标准 API 的自定义工具当草稿纸,再拿抽出来的痕迹比较不同前沿模型到底怎么想。
协议叫 Forced-Reasoning。客户端注册一个只有字符串参数的「推理工具」,关掉原生思考;Astra 关不掉,改用最低 effort。第一次请求用 named toolchoice 强制模型必须调这个工具,记下参数,把这次 tool call 和一条空确认回灌对话,再改回自动选工具,直到给出最终答案。工具本身不做任何计算,只是把中间文字留在可见通道里。
抽出来的文字可能是事后合理化。所以先在能看见原生 CoT 的开源模型上对齐:DeepSeek-V4-Flash 和 GLM-5.2。再把同一套协议打到 Claude Opus 4.8、Sonnet 5、GPT-5.6 Sol、GPT-6 Astra。评测是 80 道 HMMT+APEX 竞赛题,以及 HLE、LiveCodeBench 各 100 题子集,全部走 OpenRouter。三种条件:None(关思考、无工具)、Native(高思考强度)、Forced。
痕迹到手之后,从三层看结构:输出长度与 zlib 可压缩性;Schoenfeld 式七类推理活动(Read、Analyze、Plan、Implement、Explore、Verify、Monitor);再用 LCoT2Tree 把痕迹收成推理树。最后做跨模型移植:把 donor 的痕迹去掉最终答案,塞给 recipient,关思考、无工具、单次作答。
开源侧 Forced 接近甚至略超 Native。MATH 上 DeepSeek-V4-Flash 为 None 30.5%、Forced 73.3%、Native 70.0%;GLM-5.2 为 21.4%、84.3%、89.9%。Forced 与 Native 的 ROUGE-1,DeepSeek 是 0.538,对照组内 Native–Native 的 0.613。长度也接近,Forced/Native 中位比约 1.4 倍。
闭源侧 Forced 贴近 Native,远高于 None:
| 模型 | MATH None/Native/Forced | HLE | LCB |
| Opus 4.8 | 72.5 / 86.3 / 85.0 | 24 / 33 / 27 | 58 / 83 / 82 |
| Sonnet 5 | 42.5 / 77.5 / 81.3 | 17 / 21 / 22 | 52 / 77 / 77 |
| GPT-5.6 Sol | 25.0 / 97.5 / 91.3 | 13 / 25 / 23 | 47 / 90 / 90 |
| GPT-6 Astra | N/A / 97.5 / 93.8 | N/A / 35 / 32 | N/A / 92 / 89 |
Astra 的 Forced 输出在三个基准上都最短、最难被 zlib 压。MATH 上平均 1752 token,对照 Opus 16283、Sonnet 27851。推理树中位宽度/深度/节点:Astra 5.0 / 11.0 / 27.0,Sol 12 / 11 / 60,Opus 22 / 12 / 96,Sonnet 28.5 / 13 / 136。七类活动占比差不多,差在写不写细、分不分叉:Astra 把四则运算和价电子数这类常识压成一行,路径几乎走直线。
Sol 和 Opus 的痕迹几乎谁都能用。Astra 的短痕迹,强模型几乎无损,Haiku 4.5 和 GPT-5.4 Nano 掉得最狠。Astra 在 80 题里有 73 题(91.25%)已经在痕迹里写出正确答案;Haiku 出错的 18 题里,15 题答案就在输入里。
对研究者,这是一个不依赖厂商开放 CoT 的观测工具。对做蒸馏的人,它给出一个可检验的机制:最强老师写得最密,弱学生补不出被省掉的小学算术。实验测的是 in-context 复用,不是微调蒸馏,但预测很清楚:把压缩痕迹展开成显式中间步,弱 recipient 应能补回大部分分数。
安全侧更刺耳。思考模式关了,厂商报 0 个 reasoning token,推理仍能从 tool 参数漏出来。作者已把复现代码发给 OpenAI 和 Anthropic 安全团队,实验截止于 2026 年 9 月 9 日之前。
闭源上对不上原生 CoT。行为接近不等于内部计算是同一份,抽出来的可能是另一条通道上的事后文案。协议要求 API 支持自定义工具和强制指定工具名,没有这两项的端点做不了。Astra 的 Forced 配置特殊(think-here 描述加最低 effort),和别家「彻底关思考」不完全同条件。MATH 80 题、HLE/LCB 各 100 题,量不大;跨模型移植也没把压缩从正确率、文风里单独拆开。