CVPR 2026视频模型新范式：从“生成像素”到“理解动态世界”的五大突破

导语：CVPR 2026视频模型重心从视觉质量转向对动态世界的理解，五大突破研究推动运动编辑、3D控制、自迭代生成等新范式。

过去，视频生成更多是在解决“像不像”的问题：人物是否清晰，画面是否流畅，风格是否统一。但随着模型能力提升，视频真正困难的部分开始显现出来——它不是一组漂亮帧的连续播放，而是一个由时间、空间、运动、相机、光照和物理信号共同构成的动态系统。只要模型无法理解这些隐含结构，它生成的视频就可能看似逼真，却在运动逻辑、视角一致性或真实场景适应上露出破绽。因此，视频智能正在进入一个更深的阶段：不只是生成画面，而是理解画面为什么会这样变化。

从运动轨迹编辑、3D结构约束、可迭代文生视频，到自适应视频token、长期运动表征、频闪去除、热成像分离和地球观测模型，研究者实际上都在处理同一个底层问题：如何让模型把视频从“像素序列”理解为“动态世界”。这也是今年CVPR相关方向中一个值得注意的信号——视频模型的竞争重心，正在从视觉质量转向对时间、空间和物理规律的建模能力。

由“看画面”到“懂运动”——视频运动编辑的两次跃迁

视频生成和编辑正在从“画面是否好看”，走向“运动是否可控”。谷歌和石溪大学共同提出的MotionV2V: Editing Motion in a Video研究的正是如何不只修改视频风格或局部外观，而是直接编辑视频里的“运动”。比如让人物换方向、让物体晚一点出现，或在保留场景内容的同时改变镜头运动。现有方法一旦涉及物体运动、相机轨迹或时间顺序变化，就很难保留原视频后续帧中已有的内容。

MotionV2V的核心思路是把视频运动表示成稀疏轨迹点，并让用户直接编辑这些轨迹。系统先从输入视频中提取物体或场景点的原始运动轨迹，用户再指定目标运动，模型根据“原始轨迹”和“目标轨迹”之间的差异生成编辑后的视频。论文把这种差异称为motion edit，并用它指导视频扩散模型，在尽量保留原视频内容的同时，让目标物体或相机按新的方式运动（论文地址）。

它的亮点在于，MotionV2V不是从单张图片重新生成视频，而是真正以完整输入视频为条件进行video-to-video运动编辑。因此它可以利用视频中任意时间点的信息，处理首帧里还没出现的物体，也能支持物体运动、相机运动、时间控制和连续多次编辑。作者还构建了motion counterfactuals，即内容相同但运动不同的视频对，用来微调motion-conditioned video diffusion架构。从论文对比来看，MotionV2V在内容保留、运动控制和整体编辑质量上优于已有方法，用户研究中也获得约70%的偏好率。整体来看，这篇论文把视频编辑从“改外观”推进到“改运动”。

当运动编辑涉及相机、物体和非刚性形变时，仅靠2D运动线索往往不够。Adobe和马里兰大学帕克分校共同提出的Generative Video Motion Editing with 3D Point Tracks进一步使用3D point tracks作为统一的运动控制表示，同时改变视频里的相机运动和物体运动。系统会先估计输入视频中的相机参数和3D点轨迹，用户编辑相机运动或物体轨迹后，再由video-to-video生成模型合成新视频（论文地址）。

相比2D轨迹，3D轨迹提供了深度信息，可以帮助模型判断遮挡关系、前后层次和真实空间运动。论文还设计了3D track conditioner，通过cross-attention从输入视频中采样视觉上下文，并把这些信息对齐到目标帧空间中，让模型在改变运动的同时保持画面连贯。由于真实世界中很难获得成对训练数据，作者采用两阶段训练：先用合成数据学习基础运动控制，再用真实单目视频构造非连续片段对，缩小合成到真实的差距。整体来看，这篇论文把视频运动编辑推进到更3D-aware的阶段，也支持运动迁移、非刚性变形、物体移除和复制等效果。

从单张图像到环绕视频：3D先验驱动的一致性生成

如果输入只有一张物体图像，模型如何在相机绕物体旋转时生成稳定、真实、结构一致的视频？澳大利亚国立大学和亚马逊共同提出的Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors研究的就是从单张物体图像生成orbital video。现有视频生成方法在大角度视角变化时缺少可靠像素对应关系，容易生成结构扭曲或不合理的物体形状（论文地址）。

这篇论文的核心思路是引入3D foundation model中学到的形状先验，用它辅助视频扩散模型生成更稳定的环绕视频。模型从单张输入图像中提取两类3D latent features：全局latent vector提供整体结构指导，体积特征投影得到的latent images提供随视角变化的几何细节。相比深度图或法线图，这些3D latent features能表达更完整的物体形状，也避免显式提取mesh的额外开销。作者还设计了multi-scale 3D adapter，把不同尺度的3D特征接入基础视频模型，从而提升生成视频的真实感、物体形状合理性和多视角一致性。

VISTA：文生视频的自我迭代革命

谷歌和新加坡国立大学共同提出的VISTA: A Test-Time Self-Improving Video Generation Agent则把重点放在生成流程本身：当用户给出文本想法后，系统能不能反复评估、反思和修改，直到生成更符合意图的视频。它研究的是test-time self-improvement，也就是不重新训练视频生成模型，而是在推理阶段通过反复评价和改写prompt来提升结果。

VISTA会先把用户想法拆成带有时间结构的场景计划，包括时长、角色、动作、对白、环境、相机、声音和情绪等要素；生成多个候选视频后，通过pairwise tournament选出当前最好结果；随后由视觉、音频和上下文评审智能体提出意见，最后由reasoning agent综合反馈并改写prompt，进入下一轮生成（论文地址）。

它的亮点在于，VISTA不是只优化某个指标，而是把视频规划、候选筛选、多维度评价和提示词重写串成自动闭环。论文中提到，VISTA在自动指标下相较先进基线最高达到60%的pairwise win rate，在人工评测中也获得66.4%的偏好率。整体来看，它把文生视频从“一次性生成”推进到“生成—评价—反思—再生成”。

底层表示突破：自适应视频token与长期运动嵌入

AdapTok：让token分配响应内容变化

要让视频模型更好地生成和编辑内容，底层表示也需要更高效。上海交通大学、香港中文大学多媒体实验室、上海人工智能实验室OpenGVLab、同济大学、清华大学共同提出的AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space研究的是视频tokenization问题，即如何把连续视频帧压缩成更适合自回归模型处理的离散token（论文地址）。

AdapTok的核心思路是让视频token分配变得自适应。它不是给每个时间段分配同样多的token，而是根据视频内容、时间变化和整体预算，动态决定哪里多用token、哪里少用token。它使用1D latent token space表示视频，并引入temporal causality，让前面帧的编码和解码不依赖未来帧，更适合流式处理和自回归生成；同时通过block-wise masking、block causal scorer和IPAL策略完成自适应分配。这样一来，运动明显、场景变化大的片段会获得更多token，静态或冗余片段则使用更少token。在UCF-101和Kinetics-600任务中，AdapTok在不同token预算下都能提升重建质量和生成表现。

长期运动嵌入：先学会“未来应该怎么动”

CompVis @ LMU、MCML和苹果共同提出的Learning Long-term Motion Embeddings for Efficient Kinematics Generation进一步追问：如果只是理解未来怎么动，是否一定要完整生成像素视频。论文转向学习一种更紧凑的long-term motion embedding，用来表示场景中的长期运动规律。它从大规模tracker模型得到的轨迹数据中学习压缩运动空间，把稀疏轨迹和起始帧编码成latent motion grid，并可在任意空间查询点上重建密集运动；随后在这个运动latent空间里训练conditional flow-matching模型，根据文本任务描述或spatial pokes生成长期运动。这种表示可达到64倍时间压缩，也就是说模型不用逐帧生成视频，就能在更抽象的运动空间中推断未来动态（论文地址）。

这篇论文的亮点在于，它把“生成视频”拆成了更基础的“生成运动”。这种kinematics-first方式更适合探索多个可能未来，也更适合机器人规划、轨迹预测和长期动态建模。在开放域互联网视频和LIBERO机器人基准上，它的运动生成质量、条件遵循能力和效率都优于专门轨迹预测方法以及Wan、Veo 3等视频模型基线。整体来看，AI不一定要先“画出未来”，也可以先学会“未来应该怎么动”。

修复画面与理解信号来源：从频闪去除到热成像分离

Flickerformer：利用物理先验去除连拍闪烁

除了生成和编辑，视频与图像研究也在关注如何从复杂成像退化中恢复可靠信息。南开大学国际先进研究院、鹏城实验室、南开大学计算机学院、香港理工大学、OPPO研究院共同提出的Flickerformer: It Takes Two – A Duet of Periodicity and Directionality for Burst Flicker Removal研究的是短曝光连拍图像中的flicker artifact去除问题。这类退化由人工光源频闪和rolling shutter共同造成，表现为条纹状、明暗不均的闪烁，不能简单当作普通噪声或低光增强处理（论文地址）。

Flickerformer的核心思路是利用闪烁退化的周期性和方向性。周期性来自交流电光源亮度变化，方向性与相机逐行扫描机制有关。针对这两个特点，Flickerformer设计了PFM、AFFN和WDAM三个模块，分别用于帧间相位相关融合、单帧自相关建模，以及小波域方向性高频修复。它的亮点在于，把频闪本身的物理先验嵌入网络结构里，而不是把flicker removal当成普通图像增强任务。在BurstDeflicker benchmark上，Flickerformer超过多种图像复原和burst restoration方法，取得31.226 PSNR、0.920 SSIM、0.045 LPIPS。整体来看，这篇论文让模型能够更准确地去除条纹闪烁，同时保留细节并减少重影。

双波段热成像：分离热发射与背景反射

类似思路也出现在热成像研究中。CMU提出的Dual Band Video Thermography: Separating Time-Varying Reflection and Emission Near Ambient Conditions研究的是热成像中的发射/反射分离问题。热相机看到的长波红外信号既可能来自物体自身热辐射，也可能来自周围环境反射；在接近室温的日常场景中，这两部分信号强度接近且都会随时间变化，因此很难判断亮暗变化到底来自物体温度变化，还是背景反射（论文地址）。

论文提出dual-band thermal videography，用两个长波红外子波段视频分离“物体自身发射”和“背景反射”。它同时利用光谱线索和时间线索：同一材料在两个波段中的发射率比例相对固定，而物体热传导变化通常更平滑、背景反射变化更快。实验中，方法能把咖啡壶升温时的热发射与旁边移动人物的反射分开，也能区分玻璃板上的手指热印和手指反射。在酒杯和咖啡壶视频中的非校准温度估计误差分别约为1.72%和5.34%。整体来看，这篇论文把热成像从“看到温度分布”推进到“理解热信号来源”。

视觉模型进入地球观测：OlmoEarth多模态基础模型

当视觉模型进入遥感和地球观测场景时，问题会比普通图像更复杂：模型不仅要处理图像，还要同时理解时间序列、多源数据和地图标注。艾伦人工智能研究所、华盛顿大学、亚利桑那州立大学、不列颠哥伦比亚大学联合提出的Helios: Stable Latent Image Modeling for Multimodal Earth Observation研究的是面向地球观测数据的多模态基础模型。地球观测数据既有图像空间结构，也有类似视频或文本的时间序列特征，还包含卫星影像、地图、地形、作物、土地覆盖等多种模态。

这篇论文提出的模型叫OlmoEarth，目标是让地球观测基础模型更稳定、更高效，也更容易落地到环保、人道主义和公共利益相关任务中。它不只训练模型，还配套构建端到端平台，用于数据收集、标注、训练和推理，降低真实组织使用前沿地球观测模型的门槛（论文地址）。

OlmoEarth的核心方法是Latent MIM Lite。它用随机初始化、训练中冻结的线性投影层，把图像patch投到token空间作为预测目标，在保留latent modeling表征能力的同时提升训练稳定性。这个设计还把自监督数据和带标注地图数据统一到同一个token空间里，让模型可以用相同损失学习观测数据和标签地图。针对遥感数据空间、时间和模态高度冗余的问题，OlmoEarth采用modality-aware masking，让模型必须从其他时间、空间或模态中推断缺失信息；同时只在同一bandset内进行token对比，避免大量“太容易”的负样本削弱训练效果。综合评估中，OlmoEarth与12个其他基础模型相比，在embedding评估中于24个任务里的15个取得最好表现；在full fine-tuning设置下，于29个任务里的19个取得最好表现。整体来看，这篇论文为地球观测任务提出了一个更稳定、更开放、更面向真实应用的多模态基础模型体系。

从运动编辑到3D控制，从自迭代优化到高效表征，CVPR 2026展现的视频模型趋势已经非常清晰：告别单纯的像素级进步，转向对时间、空间、物理和信号本质的深层理解。只有当模型真正学会运动从哪里来、结构为什么稳定、信号如何形成，视频AI才能从内容生成工具蜕变为理解与推演现实世界的动态智能系统。