JetBrains 问 12 个模型 1200 次:语言偏好混进编码评测怎么拆

Global_Zucchini5231 · reddit · 2026-11-16

JetBrains 本周让 12 个模型输出编程语言「暴论」,在 600 次被要求随机选语言的运行中,Go 和 Python 合计被选 307 次。作者指出这只是测模型在该提示下会提哪些语言,并非测它们用这些语言写代码的能力,并由此引出编码 agent 评测的方法论陷阱:如果让 agent 自己选语言再写实现,单次通过率实际混合了两个决策。他给出的做法:同一批任务跑两遍——第一遍让 agent 自选语言,第二遍从均衡的语言列表中指派语言;测试用例固定并记录语言选择与实现通过情况;用分页 API 同步 worker 这类任务,测试数据里加入重试、重复记录和一个非法记录。最后向做过 polyglot agent 评测的人提问:语言选择是否单独打分?多种实现都能通过时什么算选错?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →