模型评测深坑解析：Prompt、参数与引擎如何影响分数
rsasaki0109 · x · 2026-08-21
这篇博客深入探讨了 LLM 模型评测中的常见陷阱。评测分数受多种因素影响：
- Prompt：Zero-shot 微小改写或输出格式指令差异会导致分数波动，需警惕特定模型偏好。
- maxnewtokens：推理模型依赖长思维链，上限过小会导致解答截断误判，需检查截断比例。
- 推论参数：Temperature、Top-P 等参数应遵循官方推荐（如 Qwen3.5 禁用 greedy），非零温度需多次运行取均值。
- 精度与引擎：FP 精度、推理引擎及 API 提供商的差异均会改变生成结果。
建议评测时固定配置，并验证设置是否发挥了模型真实性能。
「模型」频道最新
- GLM-5.3 编码任务成本仅 Fable 5 五分之一，DeepSWE 跑分更优 — zainhas · 2026-08-21
- OpenAI Codex 额度被暗砍，质量亦遭吐槽 — mazzaTalk · 2026-08-21
- Unsloth V3 版 Qwen 模型在双 AMD 卡上崩溃 — Equivalent-Ear-8016 · 2026-08-21
- 爆料：Ox Alpha 为 ZAI 与 GLM 联合模型 — scaling01 · 2026-08-21
- 新模型 Ox Alpha 曝光：100 万上下文与多模态输入 — External_Mood4719 · 2026-08-21
- 神秘模型 Ox Alpha 实测疑为智谱 GLM 新版本 — teortaxesTex · 2026-08-21