Character.ai 用成对比较评测抓视频 drift，比绝对分数更稳
AI Engineer · youtube · 2026-07-25
- Character.ai 的 Maor Bril 认为，生成式视频评测不能只看单一绝对分数：一个片段即使“看起来很顺”，也可能在时间连续性、镜头衔接和故事一致性上出问题。
- 传统指标如 CLIP score 会漏掉这些失败模式，而靠人工逐条看视频又无法规模化。
- 团队发现，比起绝对打分，成对偏好比较 更稳定；于是用 Qwen3-VL 结合 Bradley–Terry loss，在真实片段和刻意破坏的片段对上训练 judge。
- 这个 judge 现在被用作 Character.ai 的 CI 回归门禁：每次 AgentX 发布前都要过评测墙，并用人类评分校准，尽量在上线前抓住 drift。
「应用」频道最新
- ChatGPT Cowork 加入虚拟机，专门测试复现实验材料 — RobbWiller · 2026-07-25
- Marimo 把交互式 Python 笔记本变成可现场编辑的幻灯片 — pandeyparul · 2026-07-25
- Claude Opus 5 提示词经验：旧式 harness 习惯开始浪费 token — tengyanAI · 2026-07-25
- 概念验证把智能体接入 Buzz，并用 Lightning 结算比特币支付 — sull · 2026-07-25
- Agnost AI 发布对话式 AI 的产品分析工具 — ycombinator · 2026-07-25
- Scape 融资 320 万美元，想把邮箱做成替你工作的收件箱 — garrytan · 2026-07-25