HouseholdBench:LLM 预测家庭经济行为,最佳模型降误差 12.2% 仍不敌 GBDT
daveholtz · x · 2026-10-20
密歇根大学、LSE、UC Berkeley 等机构团队发布 HouseholdBench,系统检验 LLM 能否预测家庭的消费、收入、劳动与政策反应。
基准构成:
- 整合 6 项美国家庭调查、32 个预测任务,覆盖数值、分类与概率型结果,涉及消费、收入、劳动、预期、住房
- 用过往行为、人口特征与宏观经济条件作输入,含政策反应类任务
主要发现:
- 评测 13 个专有与开源权重模型:多数 LLM 跑赢「不变」基线,最佳模型在数值任务上降低误差 12.2%
- 但多数任务上梯度提升树(GBDT)仍排第一;头部专有模型接近其表现,开源模型明显落后
- LLM 在不同任务上存在系统性高估/低估
- 微调 + 每条观测聚合 16 次预测,可让 40 亿参数开源模型追平专有模型,且改进能泛化到未参与微调的政策反应任务
数据、代码与排行榜已公开。
「研究」频道最新
- 社区把 Quasi-黎曼零点自由区推进到 θ≤0.874810282，尚待 Lean 验证 — IgorCarron · 2026-10-21
- 3DRAE:任意 3D 场景压缩成 1K token,西湖大学等提出场景生成新表示 — Dongxu Wei · 2026-10-21
- Deepak Pathak:机器人学习没有完美数据源,仿真、视频、遥操各有取舍 — chris_j_paxton · 2026-10-21
- AA 聚类分析:各厂模型性格相近,跨厂出现三大性格家族 — ArtificialAnlys · 2026-10-21
- 新研究:最简单的离散动作表示就能追平甚至超越连续动作策略 — GuanyaShi · 2026-10-21
- 把 3D 扫描当视频处理：ETSAM 改造 SAM2 自动分割细胞膜 — bravo_abad · 2026-10-21