Persimmon Ultra 多用户图灵测试 fool 率近 50%,前沿大模型不足 1%
niloofar_mire · x · 2026-11-21
Humansand 公布 Persimmon v0.1 在自研 Multi-User Turing Test(K=8)三个数据集上的成绩:TIDES 上 Ultra 达 41.9%、Pro 38.6%,内部工作区对话中 Ultra 33.9%,TutorMoments 上 Ultra 49.7%、Pro 35.8%。作为对比,基础版 Persimmon 约 19-21%,而 GPT 5.6、GPT 6 (Astra)、Opus、Fable 5、Kimi K3、GLM 5.3 等前沿模型的 fool 率普遍在 1% 以下,多数为 0%。该测试以「评委被欺骗率」衡量,50% 代表人类水平——意味着这款专攻多用户拟人对话的模型在部分场景已逼近人类,而通用前沿模型几乎完全无法在群聊中伪装成人。
「模型」频道最新
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21
- Persimmon v0.1 Pro/Ultra 发布:多轮图灵测试得分翻倍至 48% — Diyi_Yang · 2026-11-21
- Matthew Berman 力荐 Gemini Neon:称其是一个出色的新模型 — MatthewBerman · 2026-11-21
- Humansand 发布 Persimmon v0.1 Pro 与 Ultra,主打长对话拟人一致性 — niloofar_mire · 2026-11-21
- 微软推 MAI Licensed Weights:可带走前沿模型权重部署到自有环境 — marlene_zw · 2026-11-21
- Fable 额度用光被迫转 Gemini,开发者自嘲 token 富人与穷人之别 — jasondeanlee · 2026-11-21