Lumiere：谷歌研究院出品，基于时空架构的文本到视频生成扩散模型

Lumiere是谷歌研究院研发的时空文本到视频扩散模型，核心创新在于采用空间时间U-Net架构——摒弃传统模型逐帧合成的模式，通过单次传递即可生成视频的完整时间序列，从根源上保障视频的全局时间一致性与画面逼真度，赋能多元内容创作与视频编辑任务。

Lumiere核心功能亮点：

1、文本直驱视频生成：

输入文本描述即可直接生成对应视频内容，实现从文字创意到动态画面的端到端转换，无需复杂的中间环节。

2、图像到视频平滑转换：

以静态图像作为首帧参考，通过模型调节生成连贯的动态视频，让静止画面自然“动起来”。

3、时空 U-Net 架构突破：

区别于逐帧合成的传统方案，该架构支持一次性生成完整时间长度的视频，大幅提升生成效率，同时从底层逻辑解决视频帧间割裂、连贯性差的痛点。

4、全局时间一致性保障：

得益于单次生成的架构优势，Lumiere能轻松实现视频内容的全局时间一致性，生成的画面动作流畅、场景衔接自然，逼真度远超逐帧合成模型。

5、多尺度时空处理能力：

通过在多个时空尺度上处理视频数据，学习直接生成视频的底层逻辑，是视频生成领域的先进技术路径。

6、风格化视频定制生成：

仅需一张参考图像，即可生成匹配目标风格的视频内容，这种风格迁移能力在同类视频生成模型中尤为罕见。

7、全场景视频编辑赋能：

覆盖多元创作与编辑需求：支持视频修补、基于文本的一致性样式编辑；可实现局部运动效果，让图像部分区域静止、部分区域动态，增添画面层次感；还能根据文本提示对视频任意遮罩区域进行动画处理，为对象插入、删除等编辑操作提供更多可能。