ShikharMurty:Pass@k 上升不代表模型学到新东西
ShikharMurty · x · 2026-08-21
研究员 ShikharMurty 指出,业界存在一个误区:认为 pass@k 指标的上升意味着模型学到了新东西。他认为这实际上可能只是模型在更敏锐地拟合分布,而非真正获得了新颖的学习能力或泛化能力。
「研究」频道最新
- OneCanvas:全景重投影实现高效 3D 场景理解 — rsasaki0109 · 2026-08-21
- 可视化图谱追踪从 GPT-2 至今的奇点进程 — zakelfassi · 2026-08-21
- 当智能体碰撞:软件工程仍是AGI未来的关键 — maier_ak · 2026-08-21
- 区分多智能体三种定义:编排、蜂群与仿真系统 — sebkrier · 2026-08-21
- 康奈尔新架构降低 36% 训练算力 — burkov · 2026-08-21
- SkillEvo:利用多轮反馈实现智能体技能持续进化 — zju · 2026-08-21