研究生求助:60人问卷人工评估模型输出,在ML研究里靠谱吗
Dapper-Perspective21 · reddit · 2026-10-13
一位硕士生发帖请教人工评估方法:其团队微调的模型会对图像给出反馈,导师建议用 Google Form 让约 60 名参与者对比其反馈与 Qwen/OpenAI API 的输出,选出更准确有用的一方,再做统计分析。
他提出四个问题:这种人工评估在 ML 研究中是否常见、60 人样本量是否合理、如何处理乱答或不认真阅读的参与者、若审稿人要求补充评估再发一轮问卷是否常见,并希望得到与导师讨论前的注意事项建议。
「研究」频道最新
- AlphaProof Nexus 登上 Science：自主求证数学问题 — swarat · 2026-10-14
- 用 Opus 5.5 训练出 8M 小模型实验收官:能泛化但还不够好 — Angaisb_ · 2026-10-14
- Gemini 4 Argon 助攻科学：量子纠错吞吐近翻倍、设计新型酶 — haider1 · 2026-10-14
- Google 研究员谈量子与经典机器学习的「良性循环」,附 arXiv 综述 — weballergy · 2026-10-14
- 约翰霍普金斯团队招募 BodyMaps AI 读片研究志愿者,参与者可署名论文 — yuyinzhou_cs · 2026-10-14
- 对谈 Bartosz Naskrecki:深挖 AI 在数学中的当前能力边界 — burny_tech · 2026-10-14