Qihoo-T2X 是由 360 AI 研究院和中山大学联合开发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过引入稀疏代理标记注意力机制，显著降低了传统扩散 Transformer 在全局自注意力计算中的冗余性。Qihoo-T2X 支持多种任务，包括文本到图像（T2I）、文本到视频（T2V）和文本到多视图（T2MV）生成。

Qihoo-T2X功能特点：

1、高效计算：

– Qihoo-T2X 通过代理标记化注意力机制，大幅减少了计算复杂度，相比其他扩散模型（如 DiT 和 PixArt-α），计算量分别减少了 48% 和 35%。

2、多任务适应性：

– 文本到图像（T2I）：根据文本描述生成高质量、高分辨率的图像，适用于创意设计和艺术创作。

– 文本到视频（T2V）：生成连贯的视频内容，支持动态场景和视频序列，适用于视频创作和动画制作。

– 文本到多视图（T2MV）：生成同一物体或场景的多视角图像，适用于 3D 对象展示和虚拟现实（VR）/增强现实（AR）应用。

3、Qihoo-T2X细节建模能力：

– 结合窗口注意力和移位窗口注意力机制，增强局部细节建模能力，避免因稀疏注意力机制导致的细节丢失。

4、开源与可扩展性：

– Qihoo-T2X 的源代码已开源，支持社区贡献和进一步开发。

Qihoo-T2X应用场景：

1、创意设计与艺术创作：快速生成高质量艺术图像，支持多种风格，为艺术家提供灵感。

2、视频内容生成：生成连贯的动画视频，减少视频创作成本和时间。

3、教育与培训：生成教学用图像和视频，帮助学生理解复杂概念。

4、娱乐与游戏开发：生成虚拟场景、角色和动态内容，提升沉浸感。

Qihoo-T2X相关网址：

1、项目官网：https://360cvgroup.github.io/Qihoo-T2X/

2、GitHub仓库：https://github.com/360CVGroup/Qihoo-T2X

3、arXiv技术论文：https://arxiv.org/pdf/2409.04005