教授精心设计「AI 防不住」考题,模型照样考到 82 分
alex_verem · x · 2026-11-20
宾州州立大学团队(论文 arXiv:2611.21476)请 11 所大学的 37 位教授设计「AI 答不出」的考试与作业题,收集 61 道 AI-proof 题、外加 14 道普通题对比,用三个主流模型每题跑 10 次(带/不带课程材料),共 4500 份评分答案。结果:
- GPT-5.4 在「防 AI」题上平均 83%,Claude Sonnet 4.6 得 82%,Gemini 2.5 Flash 得 79%,仅比普通题难 4-6 分
- 课程笔记几乎没用,分数变化不超过 2 分
- 教授们用了五种防 AI 手段,只有「增加复杂度与误导」可靠有效(降 7-10 分);要求特定格式反而帮了 AI;要求画图或法律式结构论证的题反而更容易
- 全场最难的是一道物理题,AI 平均只得 3/100
作者建议教授把改过的题先丢给当前 AI 测试再布置给学生,并警告 take-home 作业正在失去作为学习证明的价值。
「模型」频道最新
- Goodfire 公开 Qwen3.6 全部 1000 万神经元的可搜索图谱,并开放数据 — fatihdin4en · 2026-11-20
- Databricks AI Index:开源权重占比 4 个月从 7.3% 升至 30.9% — AIFlow_ML · 2026-11-20
- 用户抱怨:OpenAI Dots 仍未在欧洲上线 — mark_k · 2026-11-20
- 四个月内开源权重模型在 Databricks 托管 token 占比从 7.3% 升至 30.9% — AIFlow_ML · 2026-11-20
- Gemini 4 Neon 一句话生成涩谷霓虹跑酷游戏,谷歌小蓝人当主角 — rseroter · 2026-11-20
- 用户实测 Opus 5.5:24 小时后认为比 ChatGPT 订阅更划算 — mariofilhoml · 2026-11-20