StoryEngine: A State-Grounded Agentic Framework for Video Storytelling
Yingrui Wang, Zeqing Wang, Yeying Jin
ICLR
cs.CV, cs.AI
2026-09-27
腾讯与新国立提出StoryEngine，用结构化世界状态跨镜头传播事件后果，像素只作观察。60故事基准上Veo 3.1的Avg达0.769，比最强基线ViMax高0.142。
短视频模型已经能从文本或图像做出像样的几秒片段。但长故事要的是一串互相咬合的镜头：前一镜把背包放进储物柜，后一镜回到教室时背包必须还在柜子里，笔记本还在桌上，直到有人把它拿走。
现有的agentic流水线，例如ViMax和MovieAgent，通常用松散的文字分镜，再把上一镜生成的像素当作下一镜的条件。文字只说该发生什么，并不跟踪事件如何改写实体位置和属性。像素一旦放错东西或漏掉动作，后续镜头会把这个错误当成新的剧情事实。语义意图和不可靠的视觉观察缠在一起，局部生成失败就会滚成全局叙事崩坏。
StoryEngine把语义计划定为权威，生成出来的图和视频只是观察，不能改写故事真相。整条流水线分三步。
像拍戏时的场记本：上面写着「背包在柜子里」，即便监视器上背包漂进画面，下一场仍按场记本来，不会把穿帮写进剧本。
自建60个故事的基准，分三套诊断：N20测叙事兑现，T20测跨镜连贯，C20测视觉一致性。每个故事10镜、两个地点。对照是无规划的Direct I2V，以及agentic系统ViMax和MovieAgent。规划统一用GPT-5.5，图像统一用GPT-Image-2，视频骨干分别用Veo 3.1和Wan2.2-TI2V-5B。
Veo 3.1上七项视频指标的等权平均Avg如下。
| 方法 | Avg | ECS | APR | LAR | LCS |
| Direct I2V | 0.5263 | 0.6225 | 0.5389 | 0.8121 | 0.2347 |
| ViMax | 0.6274 | 0.9067 | 0.5500 | 0.8684 | 0.2488 |
| MovieAgent | 0.5393 | 0.8783 | 0.4333 | 0.7889 | 0.2125 |
| StoryEngine | 0.7690 | 0.9225 | 0.9389 | 0.9800 | 0.5691 |
StoryEngine的Avg比最强基线ViMax高0.1416。涨幅最大的是切镜锚点APR，从0.5500到0.9389；光照LCS从约0.25到0.5691。地点遵从LAR到0.9800。几何地点一致性GPC为0.8971，高于ViMax的0.8540；人脸保持MIR为0.4072，略高于ViMax的0.3850。Wan骨干上Avg为0.7372，仍比ViMax的0.6068高0.1304。计划事件覆盖PEC为0.9798，略高于MovieAgent的0.9694。基线的APR都不超过0.55；Wan上MovieAgent的APR为0.3667，低于无规划Direct I2V的0.6722。
消融里拿掉接地渲染规划（w/o GRP），Avg掉到0.7119，GPC和LCS分别掉0.1074和0.1411，是最大的一块。拿掉连续性与修复（w/o SCVC），Avg为0.7251，ECS、APR、MIR三项在三种消融里最低。拿掉状态传播（w/o SSP）只掉0.0142。规划器换成Gemini-3.5-Flash后Avg仍有0.7357，高于所有用GPT-5.5规划的基线。
所有方法的不可逆状态推进SPS都低于0.67，StoryEngine也只有0.6681。这条还没打通。
给做多镜头故事视频的人看，这篇把「一致性」从提示词工程拆成可执行的世界状态和渲染合约。现有agent已经能把事件写进分镜，ViMax在Veo上的事件兑现ECS到0.9067，但切镜锚点和光照几乎没动。StoryEngine的增量集中在跨镜结构，不是单镜画质。
能用的前提很硬：同一套闭源API（GPT-5.5、GPT-Image-2、Veo或Wan、Gemini当评估器），每镜最多修3次。开源骨干Wan上ECS从0.9225掉到0.8733，相对基线的优势反而从0.0158扩大到0.0383。这是一套编排框架，不训新的视频模型。
不可逆状态SPS全场偏低，说明「东西被拿走就别再出现」这类因果，现在的生成器加修复循环还吃力。
论文自己写了三条。计划错了会一直错：实体目录、效果顺序或放置图一旦写错，后面的像素不能反过来改正，schema检查抓不到常识和文化错误。全景和参考图不是真3D，大视角、遮挡、镜子、透明物、可变形道具、人群、精细手物接触仍然难；修完预算仍可能不满足全部准则。基准全是英文虚构、每故事10镜两个地点、一到两个角色、无音频，不覆盖多地点长叙事、群戏、对白口型、屏幕文字和交互剪辑，也没有人类成对偏好。
评测还有一个结构性问题：循环内评估器和指标裁判都是Gemini-3.5-Flash。两者输入不同，MIR和LCS不经VLM，但共享模型偏好仍可能抬高PEC、ECS、APR等项。SPS全场低，也可能因为标注只覆盖不可逆状态、判分偏严。Avg是七项等权平均，不是校准过的偏好分。