阿里云推出视频生成大模型工具——I2VGen-XL

阿里云推出了全新的视频生成模型I2VGen-XL，可应用于短视频内容制作、电影制作等场景。据阿里云视频生成模型研发负责人介绍，I2VGen-XL是基于深度学习技术的视频生成模型，具有很强的图像识别和生成能力。这种模式可以根据用户提供的素材和需求自动生成高质量的视频内容，大大提高了视频制作的效率和质量。

I2VGen-XL示例网址：https://modelscope.cn/models/damo/Image-to-Video/summary。

I2VGen-XL模型介绍：

I2VGen-XL是一种基于隐空间的视频扩散模型(VLDM)，其通过我们专门设计的时空UNet(ST-UNet)在隐空间中进行时空建模，然后通过解码器重建出最终视频（具体模型结构可以参考VideoComposer）。为能够生成720P视频，我们将I2VGen-XL分为两个阶段，第一阶段是在低分辨率条件下保证语义一致性，第二阶是利用新的VLDM进行去噪以提高视频分辨率以及同时提升时间和空间上的一致性。通过在模型、数据和训练上的联合优化，I2VGen-XL主要具有以下几个特点：

1、高清&宽屏，可以直接生成720P(1280*720)分辨率的视频，且相比于现有的开源项目，不仅分辨率得到有效提高，其生产的宽屏视频可以适合更多的场景
2、连续性，通过特定训练和推理策略，在视频的细节生成的稳定性上（时间和空间维度）有明显提高
3、质感好，通过收集特定的风格的视频数据训练，使得生成的视频在质感上得到明显提升，可以生成科技感、电影色、卡通风格和素描等类型视频
4、无水印，模型通过我们内部大规模无水印视频/图像训练，并在高质量数据微调得到，生成的无水印视频可适用更多视频平台，减少许多限制

I2VGen-XL依赖安装：

首先你需要确定你的系统安装了ffmpeg命令，如果没有，可以通过以下命令来安装：

sudo apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

其次，本I2VGen-XL项目适配ModelScope代码库，以下是本项目需要安装的部分依赖项。

pip install modelscope==1.8.4
pip install xformers==0.0.20
pip install torch==2.0.1
pip install open_clip_torch>=2.0.2
pip install opencv-python-headless
pip install opencv-python 
pip install einops>=0.4
pip install rotary-embedding-torch
pip install fairscale 
pip install scipy
pip install imageio
pip install pytorch-lightning
pip install torchsde

I2VGen-XL代码使用范例：

from modelscope.pipelines import pipeline
from modelscope.outputs import OutputKeys

pipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0', device='cuda:0')

# IMG_PATH: your image path (url or local file)
output_video_path = pipe(IMG_PATH, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)

如果想生成超分视频的话，可以自己点击下面按钮进入I2VGen-XL官网查看！

进入I2VGen-XL官网