数数为何对模型不易:最小注意力程序需要两个索引
ctjlewis · x · 2026-09-10
作者延续其观点:数数任务是「需要中间步骤」的最简单例子——要数清大量对象,唯一办法就是一个个数,这正与猜罐中糖豆的难度同理。在其回复中进一步指出,仅用 1、2、3 顺序计数不足以处理任意长度序列:比如数 strawberry 中的 r,需要一个第二索引来枚举 r 的位置,字母计数到 9、r 计数到 3,二者需分别追踪。作者称这为该任务的「最小注意力程序」,复杂度为 2:必须同时追踪两个索引。
所属事件:大模型数不对 strawberry 的 r:计数需逐步枚举(2 条相关)→
「研究」频道最新
- 仅 4B 参数纯 RL 训练,FrogNano 声称达成仓库级编程能力 — burkov · 2026-09-10
- 用 GPT-6 Astra 一天复刻斯坦福机器人实验室 3D 交互网页 — OfirPress · 2026-09-10
- VisionCoach:用 RL 奖励正确视觉注意力,刷新视频推理零样本成绩 — mohitban47 · 2026-09-10
- Goodfire:用探针『读心』检测模型攻击意图与奖励作弊 — leland_mcinnes · 2026-09-10
- 开发者用数百个 AI Agent 并行攻关,瞄准 1 型糖尿病治愈 — Scobleizer · 2026-09-10
- UCL 剑桥牛津等联合成立 SOFAIR,主打「Science for AI」路线 — latticecut · 2026-09-10