推理 token 数可测题目难度，但需多次运行取均值
rohanpaul_ai · x · 2026-09-06
- 研究者将人类答题时间与模型在 160 道"最佳解释"常识题上的推理 token 数对比，发现让人类变慢的题目通常也让模型"想"更久，且人类和模型容易错的题也高度重合。
- 单次运行的相关性不高；对 GPT-OSS-20B 尝试多条推理路径取均值后，人机相关性从 0.41 升至 0.55。
- 结论：思维链长度可作为题目难度的粗略信号，但要跨多次运行测量，模型"努力程度"才更有评测价值。
所属事件:研究发现推理 token 数可作为题目难度指标(2 条相关)→
「研究」频道最新
- 上述扩散语言模型偏见研究上线可交互 demo,可扫全部采样组合 — Bollegala · 2026-10-23
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- Google 量子 AI 上线可验证量子线路编译 Kaggle 赛题 — JFPuget · 2026-10-23
- 聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token — kalomaze · 2026-10-23
- 研究者让 Grok 自己写提示词，追查 X 上 LLM 驱动的阿联酋水军网络 — FlorianGallwitz · 2026-10-23
- 开发者把 Qwen3-0.6B 改造成 MoE：质量下降，0.6B 级别提速有限 — Bayliner1980 · 2026-10-23