开发者组合 Muse Spark 与 SAM 3.1 实现视频物体级点赞

开发者 nikhilaravi 展示了名为 React-to-Anything 的跨模型组合玩法:观看视频时可对画面中某个具体物体点赞或评论,且反应会跟随该物体移动。实现方式是先用 Muse Spark 对视频场景生成描述文字,再用 SAM 3.1 对每个名词短语对应的物体进行分割追踪,从而将交互从整条视频细化到具体物体上。

2026-09-29 ~ 2026-09-29 · 2 条相关