EACL 论文测 LLM 代码幻觉:10 模型逻辑错误率最高 74%
ponguru · x · 2026-11-17
Adobe Research 印度团队与 IIIT Hyderabad 合作的论文《Measuring the Mistakes: Evaluating Code Hallucinations in LLMs》被 EACL 2027 主会录用。
- 评测覆盖 10 个 LLM,任务包括代码生成、调试、重构与编辑,涉及 Python、Java、C++ 三种语言
- 构建了包含幻觉指标、功能正确性、代码质量的综合评估体系,最终汇总为 Code Reliability Index 排行榜
- 发现逻辑错误率最高达 74%;典型幻觉模式包括引入不存在或过于复杂的包(如 itertools 误写为 itertool)、把简单的索引修复改成过度复杂的无限循环逻辑,实质性改变程序行为
「研究」频道最新
- AI agents 重写 3 万条法国法律条文,盲审显示法律缺陷减少 54% — IgorCarron · 2026-11-17
- COrigami:Gemini+强化学习端到端设计可折叠折纸 — TZahavy · 2026-11-17
- LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线 — burkov · 2026-11-17
- 苹果机器人论文:1000 虚拟家庭合成训练,陌生家庭动作成功率 91% — FuSheng_0306 · 2026-11-17
- 纯 Rust+Vulkan 训练框架 Hierarchos v0.2.0:RDNA3 WMMA 加速与原生多模态训练 — PhysicsDisastrous462 · 2026-11-17
- 清华等提出缓存工程替代上下文工程,Agent 推理成本降 27.7% — 机器之心 · 2026-11-17