对评测有直觉就动手建,模型反应却完全反直觉
infoxiao · x · 2026-10-15
作者分享做 eval 的日常:对某个评测有直觉,动手搭建后评测确实跑出了迹象,但模型的行为却与预期完全相反。反映了评测构建中模型行为难以预测的现实。
「模型」频道最新
- Google 用 Gemini 4 Argon 重构 Chromium,数月工作数周完成 — CatAstro_Piyush · 2026-10-15
- ChatGPT Dots 深度体验:亮点是能远程重启电脑,槽点不少 — koltregaskes · 2026-10-15
- Intern-S2 助攻数学论文，作者称经多轮对话发展论证思路 — teortaxesTex · 2026-10-15
- Runway CEO 眼神回应:Runway 抢在 DeepMind 前实现世界模型理论 — c_valenzuelab · 2026-10-15
- 开发者实测 Argon 上线生产环境:数据分析强于 Opus 且更便宜 — bindureddy · 2026-10-15
- Gemini 4 Argon FrontierMath 仅 78%，Qwen3.8 Max 仍是中国最强 — teortaxesTex · 2026-10-15