JetBrains 问 12 个模型 1200 次:语言偏好混进编码评测怎么拆
Global_Zucchini5231 · reddit · 2026-11-16
JetBrains 本周让 12 个模型输出编程语言「暴论」,在 600 次被要求随机选语言的运行中,Go 和 Python 合计被选 307 次。作者指出这只是测模型在该提示下会提哪些语言,并非测它们用这些语言写代码的能力,并由此引出编码 agent 评测的方法论陷阱:如果让 agent 自己选语言再写实现,单次通过率实际混合了两个决策。他给出的做法:同一批任务跑两遍——第一遍让 agent 自选语言,第二遍从均衡的语言列表中指派语言;测试用例固定并记录语言选择与实现通过情况;用分页 API 同步 worker 这类任务,测试数据里加入重试、重复记录和一个非法记录。最后向做过 polyglot agent 评测的人提问:语言选择是否单独打分?多种实现都能通过时什么算选错?
「编程与Agent」频道最新
- OpenTeams 工程博客盘点:pip供应链事故、Polars 2.0 与跨页表格OCR — KhuyenTran16 · 2026-11-16
- 开发者实测:近5000卡片看板打开时间从9秒缩到3秒内 — dSebastien · 2026-11-16
- Figma MCP 服务器上线:树形压缩输出省 95% token — modelcontextprotocol · 2026-11-16
- Grok Bot 1.0 发布:机器人可入会、主动行动并自我改进 — mattyp · 2026-11-16
- 语法约束解码会伤小模型与量化模型吗?求实测数据 — bye_ella · 2026-11-16
- Playwright 之外,桌面自动化 Agent 该用什么工具 — jinnyjuice · 2026-11-16