开发者一周微调 EVA-02，开源低显存视频姿态检索引擎
qn06142 · reddit · 2026-11-12
作者用 7 天微调 EVA-02-CLIP，开源了一个本地视频检索引擎，可按视觉姿态、服装细节、机位和动作节奏搜索海量非结构化视频，不依赖上传者元数据，显存需求极低。要点：
动机：现有 CLIP/BLIP/SigLIP 对特定姿势、非常规服装等概念有大盲区；固定分类器组合在模糊压缩画面上易碎；平台搜索靠 SEO 标签和单缩略图索引，抓不到只在 25 分钟视频中出现 20 秒的画面。
数据管线：48 线程图爬虫按服装/姿态正则过滤候选；每段视频压缩为 9 帧时序马赛克而非囤原始视频（14.1 万个归档 tar 共 12GB 放 Colab）；清洗器去水印/URL，训练时每轮动态重生成字幕（同义词轮换、子句乱序、随机丢标签）。
训练架构：冻结 EVA-02-CLIP-L-14-336 视觉主干（304M 参数），文本塔+投影头更新，8GB RTX 4060 笔记本 4.5GB 显存即可训练；multi-instance routing 从帧袋中只对最佳匹配帧回传梯度；SigLIP 并行实验用 pairwise sigmoid + 25% 软负样本下限处理近似重复标题；长尾标签（头部到尾部频次差 9000 倍）用平方根逆频率采样；混入 4652 张 Danbooru2023 锚点图防止域坍缩。
结果：14.7 万视频（132 万关键帧）训练，验证损失 1.428→1.054；held-out Recall@1 从 12.4% 升至 20.67%，精选集 28.0%；跨域 Recall@1 从 18.09% zero-shot 升至 55.28%；仅把每块马赛克都评估（而非只看中心帧）就带来 +39% Recall@1；可区分哑光皮革与亮面乳胶裙、淋浴/浴缸/马桶场景等细粒度差异。推理端两阶段搜索：全部半精度向量驻留 2GB 显存，全索引扫描约 8.9ms。
「研究」频道最新
- CoRL 2026 开设「持续自我改进机器人」工作坊,倡导体验时代范式 — chris_j_paxton · 2026-11-12
- AI 智能体考古：178 处 LiDAR 提交中 4 处获考古学家确认为新遗址 — BorisMPower · 2026-11-12
- 千名高中生研究:GPT-4 辅导提分 48%,撤掉后成绩反低 17% — tallmetommy · 2026-11-12
- 新方法让智能体在不确定性下遵守信念依赖规则，合规率提升18倍 — StephenLCasper · 2026-11-12
- 直驱+液冷新一代机器手发布，从执行器根治灵巧手发热难题 — ybisk · 2026-11-12
- CMU Griffin 实验室 AI4BIO Fellows 博士后项目招募倒计时 4 天 — niloofar_mire · 2026-11-12