79K 参数小模型实测 RLT：能学状态追踪但长序列泛化差
mike64_t · x · 2026-09-14
有人对近期受关注的 RLT（循环推理模型）做了一次小规模复现：79K 参数、3 个随机种子，在 32 步训练下跑两个合成任务，测最终状态准确率。
- 32 步任务：两个种子均达 100%
- 128 步任务：准确率掉到 60.8% 和 20.7%
- 同条件下的 GRU 在两个长度都接近 100%
结论是 RLT 确实能学会状态追踪，但泛化到更长序列时明显吃力。回复者提出了更深一层的分析：传统循环单元在合成状态追踪任务上有「不合常理地好」的归纳偏置——它们可以直接表达所需计算，并因 teacher forcing 轻松学到精确形式，而 Transformer 被迫构造近似。他认为把这类合成任务类比到推理式计算并不恰当，用预训练损失增益来评测循环模型的推理能力可能是错误的基准角度；推理本质上是重召回任务，需要访问不同参数，这正是「深度共享」与「参数独立」建模语言的本质差异。
「模型」频道最新
- 曝 Gemini 4 Carbon 实测:比 Opus 5.5 便宜 3 倍、快一倍以上 — vitaliychiley · 2026-10-31
- 4B 小模型 Spark-X2.6 跑出 94.6 分,反超多个 27B-35B 热门模型 — mesolimbic-bliss · 2026-10-31
- opencode 晒账单:$100 就能用上 DeepSeek V4.1 Flash — intellectronica · 2026-10-31
- 开发者称发现 LLM 内核代码 600+ 漏洞,Claude 以安全为由拒答 — pmddomingos · 2026-10-31
- Signal65 实测:Snowflake CoCo 智能体完成工作流快 4.6 倍 — ryanshrout · 2026-10-31
- Mistral Large 4：与 GLM 编码持平但省 47% token，再把预览价砍半 — petrusenko_max · 2026-10-31