土耳其语意图分类实测:两版模型同为 96.7% 准确率,犯同一个错
Sosyaldijital · reddit · 2026-10-18
作者在土耳其语意图分类任务上对比了 JEV 1.13 与 JEV 1.14 两版模型(区分买服务、卖服务、无关三类),核心数据:
- 两版均为 29/30 正确(96.7%),买家识别均为 9/10
- 平均响应时间 367ms vs 352ms,60 次调用 API 总成本约 $0.00113
- 两版犯的是同一个错:一条明确表达付费修图的买家消息被误判为卖家
作者的结论:整体准确率会掩盖关键错误——在真实线索检测场景,漏掉潜在客户(false negative)的代价远高于误报。作者也坦承样本仅 30 个合成场景、每版只测一次,不足以得出可靠的性能差异,并未据此上线。抛出的问题:部署分类器时该优先整体准确率、关键场景 recall,还是惩罚漏判的成本敏感指标?
「模型」频道最新
- Elie Bakouch:无 logits 和推理链时经典 SFT 蒸馏作用有限 — eliebakouch · 2026-10-18
- 有人发现：LLM 和大多数人类一样，都不会说「我不知道」 — StewartalsopIII · 2026-10-18
- Gemini 订阅实测：一条 10 秒视频吃掉 32% 用量，99 欧年费仅够 3 条/小时 — nikitasius · 2026-10-18
- OpenAI 员工坦言：蒸馏对中国模型追近美国的解释作用超预期 — deanwball · 2026-10-18
- 用户吐槽 GPT-6 失去 GPT-4 的灵气:玩笑生硬、回避直答 — Emergency-Ad-8185 · 2026-10-18
- 用户实测:GPT-5.5 更强但更爱擅自动手,5.0 反而更懂意图 — PawelHuryn · 2026-10-18