层级思维Token能提升推理吗
Cutelittletiger · reddit · 2026-07-14
作者提出一种“层级思维 token”设想：不再把语言只拆成词元，而是把更高层的“想法”也当作可组合的表示，并且允许这些想法继续层级化组合。 他认为这样可能带来两点收益：一是推理时所需 token 更少，二是模型可能更“聪明”，因为人类规划语言时本来就更像在组合分层的思维模式，而不是逐词决定输出。 ### 他的实验 - 用 Gemini 2.5 Flash Lite 跑了 500 个问题。 - 朴素问答系统准确率约 40%。 - 基于“层级思维 token”思想的系统，准确率大约翻倍。 - 该系统先从题目生成一层思维，再基于这些思维生成更高层思维，最后把整套层级化思维交给最终回答调用。 - 结果也优于传统 chain-of-thought 方法。 ### 作者的结论 即使只是把这种结构“模拟”在 LLM 外部，也可能显著提升推理能力。他也在问：是否已有类似实验，以及该如何系统测试这个方向。