用「给 GPT-2 写提示词」测试大模型智能
pokeuser61 · reddit · 2026-08-09
作者提出了一种新颖的模型智力代理评测方法：让不同的大模型为 GPT-2 编写单条提示词模板，然后利用 GPT-2 配合该模板在 395 个基础任务样本（为农场生成简短报告并决定正确行动）上进行打分。
虽然这种方法作为传统基准测试的实用性有限，但作者认为这种测试机制能够有效揭示不同模型在提示词工程和指令遵循上的能力差异，提供了一些有趣的模型能力洞察。
「研究」频道最新
- Sakana AI 科学家将在首尔大会演讲「自进化 AI」之路 — Stefania_druga · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16