用「给 GPT-2 写提示词」测试大模型智能

pokeuser61 · reddit · 2026-08-09

作者提出了一种新颖的模型智力代理评测方法：让不同的大模型为 GPT-2 编写单条提示词模板，然后利用 GPT-2 配合该模板在 395 个基础任务样本（为农场生成简短报告并决定正确行动）上进行打分。

虽然这种方法作为传统基准测试的实用性有限，但作者认为这种测试机制能够有效揭示不同模型在提示词工程和指令遵循上的能力差异，提供了一些有趣的模型能力洞察。