SKKU 发布 RealSWE：用真实用户请求组合式评测编码 Agent
skku · hf · 2026-09-03
成均馆大学（SKKU）发布 RealSWE 基准，针对现有 SWE 评测与真实使用脱节的问题，用真实用户请求对编码 Agent 做组合式评估。
核心发现：
- 真实用户的编码请求比基准测试任务更短、更口语化，往往不完整描述需求
- 实验表明，显式写出期望行为与动机（desired behavior and motivation）能显著提升 LLM 在软件工程任务上的表现
对 Agent eval 工程有参考价值：提示中补全需求背景是提升编码 Agent 表现的低成本手段。
「编程与Agent」频道最新
- 用户实测 Gemini 3.8 Flash 表现稳健但多次陷入无限循环 — brandon_galang · 2026-09-03
- 用 Agent 两分钟生成个人 Link In Bio 站点并一键部署 Netlify — thisiskp_ · 2026-09-03
- 用 Claude Code 当规划者，3 个 Cursor 并行执行的组合玩法 — altryne · 2026-09-03
- 零经验用户 39 分钟让 Grokbot 做出 Mac 锁邮箱应用 — billyjhowell · 2026-09-03
- JamesDSP 在 T2 MacBook 6 声道音箱翻车,Copilot CLI 帮修好声道映射 — DanWahlin · 2026-09-03
- 歸藏开源「营造」Skill：把旅行古建照片生成杂志级文化海报 — 歸藏的AI工具箱 · 2026-09-03