SanSi循环决策模型:不生成token也能实现「系统1.5思考」
minnesotanlp · hf · 2026-10-09
- 核心思路:SanSi 是一种「类型化决策模型」——不生成文本,单次前向直接输出各选项概率(系统1式快直觉);作者提出在其上做循环(looping),即递归复用同一组层多次再读出答案,让模型在生成任何 token 之前反复修正隐状态,称为「系统1.5思考」。
- 训练方式:每个循环都读出选项概率并用 proper scoring rule 训练,一次训练即可在 1 到 8 个循环间按算力预算切换。
- 结果:在来自 59 个来源的 10,027 个测试决策上达到 72.0% 准确率,比同结构非循环模型高 13.5 个百分点,比同规模更新模型高 5.3 点,仅比 3 倍参数模型低 1.8 点;在深度可控任务上循环可外推到训练未见深度;作为无标准答案的 RL 策略优化 judge 时,可将生成器 F1 提升 7.7 点。
「研究」频道最新
- Axiom Math 联合经济学家开源 MathEconLib：用 Lean 4 机器验证经济学定理 — soumitrashukla9 · 2026-10-23
- 数学家 Ken Ono 呼吁社区共建 MathEcon：经济学定理的 Lean 4 机器证明库 — soumitrashukla9 · 2026-10-23
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23