64 人出声思考解 ARC-AGI-3:人类与 LLM 学习方式大不相同
xuanalogue · x · 2026-10-31
南洋理工大学 Yewen Pu 团队发布 ARC-AGI-3 人类「出声思考」数据集:64 名参与者游玩 25 个公开游戏各 4–7 条通关轨迹,同步录下思考音频并与操作时间对齐,结合 ARC-AGI-3 源码标注每个机制被发现、形成与修订的确切步骤;另附 250 条公开的 LLM agent 轨迹作对照。
核心发现:
- LLM 在机制触发前就预判的比例(7–11%)高于人类(4%),说明其先验更强;
- 人类 50% 的轨迹以定性方式理解机制,LLM 仅 14%——LLM 倾向把机制描述到可直接写成代码的精度;
- 不确定时,人类 37% 会明确说出自己不确定。
该工作为研究世界模型如何在交互中形成提供了稀有的人类过程数据。
「研究」频道最新
- 新论文提出 Piggyback 假说:窄域微调致错对齐源于聊天模板 token 传播 — davidbau · 2026-10-31
- FPV-SLAM 发布:登顶 ETH Zurich 城市级 LaMAria 单目-惯性榜单 — ravithejads · 2026-10-31
- FDSML 论文被 WACV 2027 接收:分形参数做度量学习,Stanford Cars 检索提升 22.2pt — HirokatuKataoka · 2026-10-31
- OpenAI早期可解释性研究者:现代工具下大模型多数神经元已可读 — CatAstro_Piyush · 2026-10-31
- FDIF 用数学公式合成 3D 数据预训练,医疗分割免真实影像达 81.89% — HirokatuKataoka · 2026-10-31
- 「Image-Space Rule Discovery」论文获 ACCV 2026 接收 — HirokatuKataoka · 2026-10-31