VerseCrafter：复旦联合腾讯PCG ARC Lab等机构研发的动态真实视频世界模型

VerseCrafter是复旦大学联合腾讯PCG ARC Lab等机构研发的动态真实视频世界模型，核心亮点是具备精准的4D几何控制能力。该模型基于大规模真实世界数据集VerseControl4D完成训练，可高效处理复杂动态场景，生成的视频内容具备极强的时空一致性。用户只需指定相机轨迹与目标运动轨迹，即可生成高质量、几何无失真的视频内容，在视频生成、虚拟现实、游戏开发等领域拥有广阔的应用前景。

VerseCrafter主要功能：

1、4D几何精确控制：

支持用户自定义相机轨迹与多目标的3D高斯轨迹，实现对视频视角切换、物体运动路径的精准操控，确保画面几何形态一致。

2、多模式灵活控制：

提供三种控制方案——相机单独控制、目标单独控制、相机与目标联合控制，可灵活适配不同创作与开发场景的需求。

3、高质量视频生成：

在保障视频画面真实感的前提下，严格维持帧间几何一致性，有效避免动态场景下的画面失真、物体形变等问题。

4、多视角内容一致性：

可基于同一场景生成不同视角的视频内容，视角切换流畅无断层，适用于多人交互、全景展示等复杂场景。

5、大规模数据驱动：

依托VerseControl4D数据集训练，覆盖动态与静态多元场景，大幅提升模型的场景泛化能力与控制精度。

VerseCrafter技术原理：

1、冻结预训练主干网络：

采用预训练的Wan2.1作为基础模型，保留其强大的视频生成能力与场景泛化能力，同时在网络中注入4D几何控制信号，实现“生成能力+精准控制”的双重目标。

2、GeoAdapter轻量级几何适配器：

设计轻量级几何适配器模块，将相机轨迹、3D高斯轨迹等4D控制信号编码为多通道特征地图，嵌入Wan2.1的扩散块中，以此实现对视频生成过程的精确控制。

3、4D控制信号可视化渲染：

将相机轨迹与目标运动轨迹分别渲染为背景RGB图、深度图及3D高斯轨迹图，将这些可视化特征作为条件信号输入生成模型，为几何控制提供明确的监督依据。

4、VerseControl4D数据集支撑：

从大规模真实世界视频中提取相机轨迹与目标运动轨迹信息，构建VerseControl4D数据集，为模型训练提供丰富的几何监督数据，使其能够适配动态、静态等多样化场景的生成需求。

VerseCrafter应用场景：

1、虚拟现实（VR）与增强现实（AR）：

可快速构建高逼真度的沉浸式虚拟世界，支持用户通过控制相机与物体运动实时探索场景，显著提升VR/AR交互体验的真实感与流畅度。

2、游戏开发：

自动生成游戏动态背景与物体运动轨迹，优化游戏内视角切换与画面渲染效果，减少人工建模与动画制作成本，提升开发效率。

3、视频内容创作：

助力广告、电影、动画等领域的创作者，快速生成符合创意需求的高质量动态视频，实现复杂镜头运动与场景变换的低成本制作。

4、教育与培训：

构建逼真的虚拟教学场景，如历史场景重现、科学实验模拟等，支持学习者通过视角控制深入观察细节，提升学习的参与感与趣味性。

5、互动式娱乐媒体：

开发选择式剧情视频等互动内容，观众可通过控制视角和物体运动触发不同剧情分支，打造个性化的沉浸式娱乐体验。

进入VerseCrafter官网入口