更新自建角色扮演agentic基准：8模型热力图拆解
UsedMorning9886 · reddit · 2026-07-07
作者更新了其自建的「幻想角色扮演/agentic」基准测试。此前只给总正确率被批掩盖细节，这次对8个模型按更多类别拆分，改用热力图展示子项得分。 该工具是为本地角色扮演应用挑选模型、调优提示词而做，非正式发布基准。它通过一组游戏内任务，用LLM作为评判者，按任务特定标准打分：结构化输出是否合法、是否尊重场景既定事实、是否擅自改写玩家文本、是否替玩家发言、是否正确反映库存/时间等状态变化。