微软研究:六个主流 LLM 编程时也存在达克效应式自信偏差
burkov · x · 2026-09-30
微软研究院一项研究检验大语言模型在编程任务中是否表现出类似人类的「达克效应」(Dunning-Kruger Effect)——低能力个体系统性高估自己的认知偏差。
- 研究者基于 CodeNet 数据集的选择题基准,在 37 种编程语言上测试六个主流 LLM
- 同时测量模型的真实准确率与自我评估信心(绝对信心分数等多指标)
- 核心问题:当 AI 越来越多地辅助和协作人类开发者,模型能否准确评估自身能力,直接关系到何时该信任它的输出
对 AI 辅助工程的人机协作设计有直接参考意义。
「编程与Agent」频道最新
- 模型一次性删掉 OpenClaw 超 100 万行测试代码,作者称还有 30-40 个同类 PR — vincent_koc · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16